¿ES GOOGLE MACHISTA? EL LADO MASCULINO DE LOS ALGORITMOS

▶ Las fórmulas matemáticas que dirigen la Inteligencia Artificial replican y amplían los clichés de género aprendidos del análisis masivo e indiscriminado de datos

Tiene un amigo invisible que empieza a darle consejos y a tomar decisiones que le afectan sin que quizá sea del todo consciente. ¿Lo sabía? A veces, su intervención no va más allá de sugerirle cada noche que vea una u otra serie en su plataforma favorita. Pero hay ocasiones en las que podría descartar su currículo en el proceso de selección de una gran empresa al considerar que no es adecuado para el puesto. Este compañero, sin rostro ni nombre, es la Inteligencia Artificial (IA), una tecnología que se ha instalado sin hacer ruido en la vida cotidiana de una sociedad cada vez más digital.

Sin hacer ruido... o casi, porque lo cierto es que su comportamiento, desarrollado a base de analizar ingentes cantidades de datos a través de algoritmos matemáticos, empieza a dar que hablar. Las alarmas han saltado cuando se ha visto que toma decisiones viciadas por prejuicios de género e, incluso, raciales. Algo que puede llegar a traducirse en una discriminación de minorías en distintos aspectos de la vida, si se tiene en cuenta todos aquellos que ya están ‘tocados’ por estos algoritmos.

No son pocos. De hecho, a estas alturas, resulta ingenuo pensar que esta tecnología nada tiene que ver con nuestro mundo. Tanto, como no preguntarse: ¿quién está entrenando a esta nueva Inteligencia?, ¿con qué objetivo?, ¿cómo está aprendiendo y cómo alcanza sus conclusiones? Algunas respuestas son conocidas; otras, por desgracia, son tan crípticas como los propios algoritmos matemáticos por los que se rige.

Cuestión de perspectiva

Una de las claves para entender por qué un algoritmo puede presentar un sesgo de género y llegar a conclusiones machistas está en su propio funcionamiento. Al estar basado en analizar información para alcanzar una conclusión y resolver los problemas que se le planteen, si los datos que chequean están viciados de origen los resultados replicarán (y ampliarán) esta tara. Esto puede suceder por dos motivos: porque la recopilación indiscriminada y sin tratamiento que hace la máquina de los datos masivos arrojados por infinitos usuarios de la red y sus aplicaciones reflejen ese sesgo impregnado en la propia sociedad; o porque en la selección de esta información y la definición de modelos diseñados por los programadores ya estén sesgadas de origen, al no haberse tenido en cuenta la perspectiva de género.

En Ciencia, esto no es nuevo. Lorena Fernández, directora de Identidad Digital de la Universidad de Deusto y experta en cuestiones de Género y Tecnología, recuerda un caso paradigmático con los maniquíes que se utilizan para testar el impacto que sufre un humano en un accidente de tráfico: «Los Crash Test Dummies se hacían con modelos que solo replicaban el físico masculino. Por ejemplo, no contemplaban que el conductor fuese una embarazada». ¿Resultado? El número de muertes era superior en mujeres hasta que los test se adecuaron también a la anatomía femenina.

Del mismo modo, los algoritmos de herramientas que emplean la IA, como los traductores de Google o Microsoft, interpretan que los ingenieros son hombres y las enfermeras mujeres. Este, el traductor, ha sido de hecho la primera herramienta puesta en evidencia. Londa Shiebinger, investigadora de la Universidad de Stanford y líder del proyecto de la Comisión Europea Gendered Innovations, fue una de las primeras voces en denunciar que el traductor utilizara el pronombre masculino por defecto. «Me di cuenta cuando introduje un artículo que hablaba sobre mí y por defecto traducía ‘él dijo’, en vez de ‘ella dijo’. Nos preguntamos por qué ocurría esto y descubrimos que, como Google Translate funciona mediante un algoritmo, el problema es que ‘él dijo’ aparece en internet el cuádruple de veces que ‘ella dijo’, por lo que la máquina acertará más veces si elige ‘él dijo’. El algoritmo está preparado para actuar de esa manera. Así que nos dirigimos a Google y les dijimos: ‘Oye, ¿qué pasa con esto?’, y nos contestaron: ‘Anda, ¡no teníamos ni idea!’. Reconocimos que hay un sesgo inconsciente de género», cuenta.

Este gigante tecnológico introdujo cambios. Por ejemplo, indicar el doble género en la traducción de idiomas que usan el neutro en algunos casos. «Pero, por ahora, son parches, medidas reactivas, no proactivas para solucionar un problema. En textos extensos el algoritmo de traducción mantiene el sesgo», advierte Fernández, que también forma parte del proyecto de investigación Gendre Innovations. Chema Alonso, reputado experto en Inteligencia Artificial y ‘hacker’, es una de las voces españolas alzadas contra este proceder de los

traductores de Google y Microsoft. Como iniciativa personal, y al margen de su cargo en Telefónica al frente de la Unidad Global de Consumo Digital, ha lanzado una iniciativa en ‘Change.org’ para pedir que esto sea corregido. Para explicarlo, pone un ejemplo claro. Si se introduce ‘The judge told the nurse to take care of the engineer’, la traducción automática es: ‘El juez le dijo a la enfermera que cuidara del ingeniero’. La herramienta deduce: «Es más probable que un juez sea hombre, una enfermera mujer y un ingeniero, según mis datos, hombre». Puede ser, a tenor de los datos de mujeres que cursan estas carreras, pero no es ético que haga esta interpretación.

Traducciones sesgadas

De lo contrario, «manda un mensaje subliminal sesgado de género», denuncia Alonso. «Los creadores de la herramienta –prosigue– deberían informar de que se han asignado los géneros arbitrariamente con algún símbolo visual (subrayado o alerta) para que el usuario sepa que por el texto original no se sabe el género». Y va más allá. Cree que Google Translate debe ser un instrumento que traduzca lo que se le dé de entrada, sin interpretar. «Si este texto no dice que es hombre o mujer, no debe ‘jugar’ a averiguar qué es más probable porque trae sesgos», defiende mientras recuerda que la Inteligencia Artificial quizá no sea una tecnología adecuada para esta función. Esta tendencia a ampliar prejuicios no es inocua. Recuerda Fernández las profecías autocumplidas que se dan con la IA. «Si un algoritmo señala un barrio como peligroso solo por los datos que maneja, se enviará más policías a este lugar y habrá más detenciones. Así, lo que dijo en un principio, no solo se cumple, sino que se amplía», pone como ejemplo.

Para Alonso el problema está en el tratamiento y la configuración de los datos con los que se entrena esta Inteligencia Artificial. «Si el entrenamiento se hace con datos de internet sin analizar traemos lo que haya históricamente –no solo en estos años– en la sociedad. Es decir, nos ‘comemos’ la evolución y volvemos a tener problemas superados hace décadas –como el racismo, sexismo, machismo, etc.– traídos por modelos de IA que no sabemos realmente qué y cómo han aprendido».

Esto último es uno de los hechos más inquietantes de esta problemática: realmente nadie sabe a ciencia cierta cuál es el mecanismo que explica a la larga el aprendizaje de un modelo de Inteligencia Artificial. Ni sus creadores. «Sigue siendo un área de estudio con muchas incógnitas y retos», reconoce Alonso.

Otra de las tecnologías que recientemente han sufrido un varapalo por su sesgo han sido las de reconocimiento facial. En su entrenamiento se ha contado con menos rostros de mujeres y, además, menos con la piel oscura. El resultado ha sido que estas herramientas ‘inteligentes’ fallan más a la hora de identificar, por ejemplo, a mujeres afroamericanas.

Amazon, IBM y Microsoft se han topado con este problema y han tenido que replantear sus planes de desarrollo con esta herramienta de IA. Frenar esta deriva es «muy difícil y complejo, pero pasaría por una palabra: más diversidad», valora Fernández. Este asunto, de hecho, ha motivado la salida de varios miembros del departamento de Ética de Google, como Timnit Gebru, colíder junto a Margaret Mitchell, que se quejaron de la falta de diversidad de su equipo, «mayoritariamente formado por hombres blancos», dijeron, así como del tratamiento de los datos.

La compañía aludió a motivos disciplinarios por el comportamiento de estos trabajadores. La conclusión es que esta diversidad debería estar en los datos masivos de entrenamiento y en los equipos porque aún hoy las mujeres brillan por su escasez. No hay que perder de vista, además, que el grueso del desarrollo de la Inteligencia Artificial está en manos de solo cinco grandes: Apple, Amazon, IBM, Microsoft y Google. Para evitar que los algoritmos sigan creciendo torcidos hay dos corrientes: una que defiende la autorregulación de las compañías, y otra la ejercida por las instituciones. Está por ver quién ejercerá el control y qué intereses prevalecerán.

Sesgos

Los traductores son un ejemplo: interpretan que las mujeres son enfermeras y los hombres, ingenieros

En la empresa

Varios miembros del área de Ética de Google han salido de la compañía tras criticar la falta de diversidad