Armas de destrucción matemática

Las sentencias a afroamericanos son 20% más largas que las impuestas a ciudadanos blancos que cometieron crímenes similares. Los afroamericanos son sólo el 13% de la población del país, pero representan el 40% de la ocupación carcelaria. En Nueva York, el 40.6% de las requisas a ciudadanos de a pie son realizadas a hombres latinos y negros entre 14 y 24 años, a pesar de que son sólo el 4.7% de la población de la ciudad. Estas, son sólo algunas de las estadísticas que demuestran la inequidad en el sistema judicial de los Estados Unidos.

En 1995, se diseñó LSI-R, un modelo para evaluar el riesgo de reincidencia de los condenados cuyo propósito era evitar que la parcialidad de los jueces influyera en las condenas y en el tratamiento a los prisioneros. Pero, aunque a primera vista, el uso de herramientas no contaminadas por prejuicios humanos parece la decisión correcta para llevar igualdad al sistema, hay irregularidades que requieren reevaluación.

Este es el pensamiento, producto de una investigación de cuatro años, de la Ph.D en Matemáticas de la Universidad de Harvard Cathy O’Neil en su libro Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, nominado al National Book Award en 2016.

¿Qué es un Arma de Destrucción Matemática?

O’Neil define un modelo como “una representación abstracta de algún proceso, sea un juego de béisbol, la cadena de suministro de una compañía petrolera […] sea que se ejecute en un programa de computador o en nuestras cabezas, el modelo toma lo que conocemos y lo usa para predecir respuestas en situaciones diversas […] nos dicen qué esperar y nos guían en nuestras decisiones”. Por sí solos, los modelos no tienen nada de amenazadores. Pero, bajo la lupa de O’Neil, tres factores determinan si un modelo es, en realidad, un Arma de Destrucción Matemática (WMD, por sus siglas en inglés) de consecuencias negativas.

Un modelo justo, en primera instancia, informa a sus participantes que hacen parte del mismo. Es decir, carece de Opacidad. En LSI-R, los prisioneros responden preguntas como “¿Cuántas condenas anteriores tiene?”, “¿Qué papel jugaron otras personas en el crimen?”, “¿Hubo drogas o alcohol involucrados?”, pero no son informados que sus respuestas podrían tener efecto en sus condenas. Aunque esta omisión tiene el propósito de evitar que le hagan trampa al sistema, también es cierto que a los prisioneros ni si quiera llegan a conocer el resultado de sus evaluaciones.

Por otro lado, la Opacidad también define si los participantes saben de qué forma están siendo evaluados. En LSI-R, aunque son los mismos prisioneros los que proporcionan la información, desconocen bajo qué criterios se establece que un dato es más relevante que otro (o si es relevante o incluso constitucional del todo). Preguntas relacionadas sobre las condenas de familiares o amigos cercanos o el tipo de vecindario en el que viven llevan a que se les evalúe no sólo sobre la base de la ofensa o el crimen cometido, sino que también se les juzga por lo que son (pobres o desempleados o de poca educación) o por sus circunstancias de vida (un barrio de alto nivel de criminalidad)

Las armas, por definición, causan Daño. En el caso de las Armas de Destrucción Matemática, estas afectan negativamente a los participantes o son injustas o destruyen vidas. Una persona calificada como “alto riesgo de reincidencia” por el modelo LSR-I probablemente esté desempleada y venga de un barrio pobre con un alto índice de criminalidad. Probablemente, se le impondrá una condena más larga en la que estará rodeada de otros criminales (lo que incrementa su posibilidad de que vuelva a prisión). Una vez liberado, regresará a la pobreza de su barrio, se le dificultará conseguir un trabajo y, si llega a cometer otro crimen, los creadores del modelo de reincidencia aplaudirán porque estaban en lo cierto: su sistema funciona. Pero en realidad, LSR-I termina yendo en contra de su propósito de justicia ayudando a la creación de un ambiente que justifica sus presunciones y perpetuando un círculo vicioso de injusticia.

Para que una WMD pueda ser catalogada como tal, se requiere que el daño que causa no sólo afecte a un grupo significativo de personas, sino que también tenga la capacidad de Escalar exponencialmente. En un sistema penitenciario en el que intervienen compañías privadas, el uso de modelos de reincidencia es una pieza clave para apoyar sus principales intereses: maximizar ganancias y reducir costos. LSR-I es utilizado en al menos 24 estados y en otros estados se utilizan modelos similares. Existe una alta probabilidad de que su uso se extienda a los estados faltantes o, por qué no, adoptado por otros países.

Silos alrededor del mundo

Si el ejemplo del sistema carcelario estadounidense parece demasiado alejado de nuestras realidades, O’Neil nos presenta otros tipos de ejemplos. Sistemas que filtran aplicaciones de trabajos sin necesidad de intervención humana, permitiendo que los prejuicios de quien definió dichos filtros sean trasladados al programa. Se abre la posibilidad de descartar a candidatos por su nacionalidad, por el barrio en el que viven, por su género o por cualquier otro que no necesariamente será un indicativo de la calificación para un trabajo específico. En algunos casos, uno de los filtros usados es la calificación crediticia –una correlación que asume que quien maneja adecuadamente sus deudas será también buen empleado (aún si no requiere manejar dineros en el cago). En realidad, al negarle empleo a esta persona, lo más probable es que su calificación baje mucho más, perpetuando el círculo vicioso.

Uno de los puntos más inquietantes de O’Neil es que pareciera no haber forma de protegerse de las WMD de una forma sencilla. Compañías como Neustar recolectan información de personas (nombres, direcciones, patrones de navegación, compras, redes sociales) a grandes compañías. Datos que permitimos compartir al aceptar las condiciones de una página o sustraídos por las cookies en nuestros computadores u obtenidos por medios menos ortodoxos. Neustar crea un modelo basado en sus propios criterios y establece e-Scores que luego venden a grandes compañías. Dependiendo del e-Score, una persona podría recibir trato preferencial al comunicarse con su proveedor de televisión o ser ofrecido mejores condiciones para un préstamo bancario.

Nos despertamos y leemos las noticias que Google o Facebook eligió en la pantalla para nosotros. Creemos, principalmente, que la selección está basada en los enlaces o sitios web que hemos visitado o en los videos que hemos visto o porque escribimos en nuestro perfil que estudiamos X carrera en Y universidad o porque compartimos una foto con la torre Eiffel de fondo o porque anunciamos que estamos comiendo en un restaurante mexicano o porque vivimos en Z parte del mundo o porque tenemos más comunicación con contactos de cierto grupo étnico o de cierta edad.

Pero, advierte O’Neil, la verdad es que no sabemos a ciencia cierta cómo funcionan los algoritmos de estas empresas, si sus modelos tratan a todos los usuarios por igual o si complementan lo que ya saben de nosotros con información comprada a empresas que capturan no sólo nuestros movimientos en Internet sino también nuestra información de seguridad social, los pagos de las facturas de los servicios de nuestra casa o las deudas con la oficina de impuestos. Mientras estas grandes compañías continúen exhibiendo la propiedad intelectual como una excusa para no revelar lo que saben de nosotros, cómo emplean y evalúan esa información y con qué propósitos y, sobre todo, si todos somos tratados igualitariamente, viviremos en oscuridad.

La única forma en la que las WMD ayuden a inventar el futuro es que los humanos que las crean les proporcionen, como lo propone O’Neil, “imaginación moral […] tenemos que, de forma explícita, incluir valores en nuestros algoritmos, crear modelos que sigan un camino ético”. Pero, como ella misma lo afirma, el inconveniente radica en que para ello “tendremos que poner a la justicia sobre las ganancias”. Una larga y dura batalla se nos viene encima.

Efraín Villanueva (@Efra_Villanueva). Escritor colombiano radicado en Alemania. Es MFA en Escritura Creativa de la Universidad de Iowa y tiene un título en Creación Narrativa de la Universidad Central de Bogotá. Sus trabajos han aparecido, en español y en inglés en publicaciones como Granta en español, Revista Arcadia, El Heraldo, Vice Colombia, Literal Magazine, Roads and Kingdoms, Little Village Magazine, entre otros.

©Literal Publishing. Queda prohibida la reproducción total o parcial de esta publicación. Toda forma de utilización no autorizada será perseguida con lo establecido en la ley federal del derecho de autor

Posted: February 13, 2018 at 9:04 pm