Armas de destrucción matemáticas

Durante los últimos 20 años, decenas de empleados de la Oficina Postal del Reino Unido fueron procesados y encarcelados por robar miles de libras. Al menos eso aseguraba Horizon, un software diseñado por la compañia japonesa Fujitsu cuya información fue utilizada para enjuiciar a 736 empleados de la Oficina Postal de Reino Unido entre los años 2000 y 2014, varios de los cuales terminaron presos.

El problema es que Horizon tenía un bug, una falla que causaba que reportara que las cuentas que estaban bajo el control de esos empleados tenían menos dinero del que tenían que tener. Algunos empleados incluso intentaron tapar esa diferencia hipotecando sus casas y usando su propio dinero.

Armas de destrucción matemática. Así se llama el libro que la periodista, matemática y especialista en ciencia de datos, Cathy O’neil, escribió y publicó en 2016. Ahí O’neil, que trabajó durante años como experta en análisis y gestión de información cuantitativa para el fondo de cobertura multinacional DE Shaw, explica el riesgo del sesgo algorítmico en muchos contextos y advierte del peligro de que las

CAPTANDO MOMENTOS

El problema de los algoritmos es que parecen perfectos, pero detrás se esconden nuestros prejuicios.

ANA LAURA PÉREZ personas suelen estar demasiado dispuestas a confiar en modelos matemáticos porque creen que eliminarán el sesgo humano.

Nada más lejos. Los algoritmos son sistemas sesgados, basados en quien los diseñó, cómo se desarrollaron y cómo son usados. Esto, llamado comúnmente sesgo algorítmico, hace que los sistemas incluyan prejuicios e ideas sesgadas sobre cómo funciona o debería funcionar el mundo.

Pero la situación se pone peor aún. Los sistemas actuales han aprendido tanto que encuentran sus propias soluciones a los problemas y por ende se han convertido en cajas negras en las que ni siquiera quienes los desarrollaron saben a ciencia cierta por qué toman las decisiones que toman.

Pero los algoritmos afectan nuestra vida de todos los días cada vez más. Deciden

que vemos en nuestro timeline de Facebook, si el reconocimiento facial de nuestro teléfono se da cuenta de que existimos, si un banco nos presta el dinero para comprar una casa o un auto, si nos dan una tarjeta de crédito y si estamos presos deciden sobre nuestra libertad.

Hace algunos años, Amazon intentó usar inteligencia artificial para construir una herramienta que revisara los currículum de sus futuros empleados para ahorrarse tener que dedicar horas y horas de sus colaboradores para revisar miles de ellos y reclutarlos.

Para entrenar el sistema, Amazon usó miles de currículums de empleados contratados que había acumulado durante años y ese justamente fue el problema: la mayoría eran hombres. ¿El resultado? El sistema había aprendido a elegir a los hombres por sobre las mujeres.

Este es otro de los aspectos clave de los problemas en los algoritmos: su entrenamiento.

Les enseñamos a “pensar” a partir de miles de millones de datos que les proporcionamos para ayudarlos a entender cómo pensamos.

El problema es que con esos datos están cargados con nuestros prejuicios, con nuestros errores del pasado. Por eso, en muchos casos entrenar un algoritmo no es otra cosa que crear un sistema que detrás de esa supuesta pureza que muchos de los humanos le otorgamos a las matemáticas, esconde y justifica el mantenimiento de las diferencias que muchas veces llevamos décadas intentando hacer desaparecer.

Los algoritmos son útiles porque nos dejan tiempo para dedicarnos a otra cosa, pero son también muy peligrosos.

El problema de los algoritmos es que parecen perfectos pero detrás de esa perfección se esconden todos nuestros prejuicios y los fijan en sistemas que luego no sabemos a ciencia cierta cómo deciden nuestro destino.

Muchas veces son, como dice Cathy O’neil, herramientas con las que traemos al futuro nuestros errores del pasado.