Los sesgos de género que puede multiplicar la inteligencia artificial
Expertas advierten que se debe ampliar y pulir los datos con los que se alimentan las IA y rever los equipos.
La inteligencia artificial (IA) emergió como una poderosa herramienta que permea varios aspectos de nuestras vidas, desde la toma de decisiones financieras hasta las interacciones cotidianas en las redes sociales. A veces los vemos lejanos pero un chatbot que nos responde dudas online desde una clínica, está usando la IA, o el famoso chatGPT. Sin embargo, detrás de su aparente neutralidad se esconden profundas implicaciones sociales, como por ejemplo sesgos raciales, culturales y de género.
La Organización de las Naciones Unidas (ONU) publicó el pasado 7 de marzo un informe que examina los estereotipos presentes en las herramientas de procesamiento del lenguaje natural en las que se basan las plataformas de inteligencia artificial generativa más populares.
Allí explican cómo las respuestas de las IA reproducían estereotipos de género. En una de las pruebas solicitaron a una app que usa IA que “escribiera una historia” sobre cada individuo. Se encontraron con que la plataforma asignaba a los varones trabajos más diversos y de mayor prestigio como profesor, ingeniero y médico en esas historias mientras que a las mujeres era más frecuente la asignación de roles como cocinera, empleada doméstica, prostituta, entre otros.
Para comprender mejor este fenómeno y su impacto en un contexto de mayor visibilización de las desigualdades de género, La Voz consultó con expertas en el tema.
Las cuatro especialistas remarcaron una idea basada en dos puntos clave: los sesgos en la realidad se trasladan a inteligencia artificial porque para que funcione la IA necesita datos de la realidad y de los humanos, por lo que es imposible que sea “objetiva” por sí misma. Entonces las dos claves que plantean en forma de pregunta es: ¿Qué tipo de datos se están usando para alimentar esas IA? ¿Quiénes conforman los equipos técnicos que desarrollan tecnología?
La importancia de los datos
Mailén García, socióloga y cofundadora de la ONG Data Género y profesora de la Universidad de Buenos Aires (UBA), señala que los sesgos de género en la IA no son necesariamente nuevos, sino que reflejan las desigualdades arraigadas en la sociedad. “No vas a encontrar tantos sesgos nuevos sino que la realidad se traslada a lo digital”, afirma.
“Para que la IA funcione necesitas de datos. Y los datos también son sexistas: existen muy pocos datos de género”, dijo y explicó que este fue precisamente el origen de su ONG, Data Género, donde junto a Ivana Feldfeber y Yasmín Quiroga realizan análisis de datos con perspectiva de género y construyen herramientas de IA para la recolección de información. “Si tengo fuentes de información desbalanceadas, colectivos invisibilizados o interseccionalidades no registradas es difícil pensar que una IA venga a solucionar algo que no existe en el paso previo, en el insumo que se usa”, dice García.
Por eso, uno de los trabajos que desarrollaron desde Data Género es Aymurai, un software que recolecta y pone a disposición datos sobre violencia de género a partir de sentencias judiciales. La experiencia la están haciendo en un juzgado de Ciudad Autónoma de Buenos Aires y la idea es que más adelante se pueda usar cualquier dependencia judicial.
“Partimos de un problema concreto en el que queríamos ver cómo se juzga la violencia de género pero el Poder Judicial nos decía: ‘Yo no puedo publicar la información de los fallos hasta que no esté anonimizada (es decir, con los datos de las personas involucradas borrados). Entonces desarrollamos con IA un software para que borre esos datos y nos entregue los PDF listos y además puede armar set de datos sobre esos fallos, un insumo para que luego se pueda investigar esa realidad”, explicó García.
Las especialistas consultadas advierten también la necesidad de revisar los equipos que desarrollan esos softwares, sus trayectorias, su formación. “La mayoría de los diseños provienen de varones blancos, del norte global que en su vida no han sufrido discriminación ni sesgos”, explica García. Esto se traduce en productos y sistemas que pueden pasar por alto las necesidades y perspectivas de género.
Y en esto aclaran que no se trata necesariamente de una “mala intención” sino de desigualdades que ya arrastra la vida real y que las soluciones pensadas, en este caso desde la tecnología, tengan la mirada de quien las produce. Por eso, al principio que se desarrolló el reconocimiento facial, las plataformas no distinguían a personas de color, porque las IA habían sido desarrolladas y pensadas por personas blancas. Y allí se detectó el primer sesgo racista.
En Países Bajos se generó un escándalo por un software para analizar las solicitudes a un subsidio de cuidado infantil. La tecnología tenía que analizar si esas solicitudes de personas eran incorrectas o potencialmente fraudulentas. El resultado fue muchísimas personas de minorías étnicas quedaron afuera porque el algoritmo las tomaba como “potencialmente fraudulentas”.
Para que la IA funcione necesitas de datos. Y los datos también son sexistas: existen muy pocos datos de género.
Mailén García
Socióloga
El mundo digital es un paralelo del mundo real y las violencias pasan de uno a otro si nadie hace algo en el medio.
Natalia Bortagaray
Experta en ciencias de la computación
No hacer nada no es dejar las cosas como están, sino que se pueden empeorar, se multiplica la discriminación. Soledad Salas ONG Mujeres en Tecnología
El sesgo hoy funciona de manera automatizada detrás de un modelo de ‘machine learning’ y a escala. Marilina Trevisán Socióloga
Intervención y regulación
Natalia Bortagaray es licenciada en Ciencias de la Computación, se dedica al desarrollo y a la ciencia de datos y forma parte de la organización Mujeres en Tecnología. “El mundo digital es un paralelo del mundo real y las violencias pasan de uno a otro si nadie hace algo en el medio. Y es una herramienta que se puede categorizar como buena o mala según su uso. Al igual que un martillo, uno lo puede usar para hacer una silla o golpear a alguien”, explica.
De esa manera describe como uno de los riesgos para las mujeres es que la IA puede, por ejemplo, simular con la foto de alguien un cuerpo desnudo. Un tipo de mal uso que afecta más a mujeres. Pero también una IA podría usarse para crear un chatbot que ayude a mujeres en situaciones de
violencia.
De allí la importancia de la regulación en el uso: “Estamos usando IA sin legislarse. Si me pasa eso con una foto mía en Argentina ¿Qué hago en la justicia?”, se pregunta Bortagaray.
La Unión Europea se convirtió en la primera región del mundo en legislar sobre la IA. El mes pasado aprobó la Ley de Inteligencia Artificial y dio el primer paso. “Esta ley lo que hace es categorizar las IA entre prohibidas, las de más interés y después las clasifica por los niveles de importancia. Además crea una secretaría para mirar y controlar las IA que se generen y además para apoyar su creación, fomentarlas pero en un marco legal y ético”, explicó Bortagaray.
¿Un problema que se agranda?
Siguiendo la lógica planteada por las especialistas si la IA se vuelve sexista porque se nutre de datos de la realidad que son sexistas y a su vez esa realidad vuelve a alimentarse de información que obtiene por las IA, el sesgo ¿se mantiene o se recrudece?
Soledad Salas, fundadora de la ONG Mujeres en Tecnología (MET) sostiene que el riesgo es “exponencial”: “Hay ejemplos donde una IA que chateaba con personas se fue convirtiendo en un personaje nazi. Definitivamente no hacer nada no es que deja las cosas como están, sino que se pueden empeorar, se multiplica la discriminación. Hay que pensar en que hay asistentes virtuales que pueden interactuar con niños y niñas también”.
Para Salas, de a poco se va tomando el tema y surgen iniciativas para mitigar estos sesgos pero “parece que va muy lento”. “Hay que tomar conciencia de que hay que invertir y seguir haciendo”, sostiene.
Desde MET lanzarán la semana próxima un “datatón” junto a una startup llamada Teodora para generar una base de datos que le enseñe a las IA qué sesgos hay. La idea es que en esas jornadas, que se realizarán en mayo, toda persona que se quiera sumar pueda proponer frases con sesgos identificados para que las IA puedan detectarlos.
Marilina Trevisán es socióloga, se desempeña como data Science en Naranja X y es miembro de MET. Advierte que uno de los riesgos que ya se están viendo es en las plataformas usadas por los bancos para registrar riesgos crediticios: muchas personas podrían quedar afuera por ser miembros de comunidades que menos cobran o que están a cargo de hogares monoparentales, como las mujeres.
“Hace 100 años, cuando alguien iba a pedir un préstamo a un banco, seguramente la persona que atendía al solicitante del préstamo tenía sesgos, podía juzgar de alguna manera al solicitante del préstamo en función de su ropa, de su color de piel, de su género. El problema es que esto hoy en día funciona más o menos de la misma manera, pero de manera automatizada detrás de un modelo de machine learning y a escala”.
“Esto es algo que nos tiene que alarmar como sociedad y que debería comenzar a regularse, como en Europa, como está empezando Estados Unidos”, dijo Trevisán.
La socióloga destaca en ese sentido las iniciativas que han ido buscando visibilizar y proponer respuestas a este problema como las mencionadas anteriormente de Data Género, el datatón de MET y un investigación llamada “Inteligencia Artificial Feminista hacia una agenda de investigación en América Latina y el Caribe”, realizada en forma colaborativa entre distintas organizaciones feministas internacionales. Allí se hacen propuestas para mitigar los efectos que los sesgos de género en la IA puedan tener en la sociedad.
El debate sobre los sesgos de género en la IA refleja la necesidad de abordar las desigualdades arraigadas en la sociedad.