LA SUMA DE TODOS LOS MIEDOS
Como nunca, la agenda global de las compañías tecnológicas cuestiona los alcances éticos de la inteligencia artificial en sus propios productos y servicios; la solución viene de la propia industria: las firmas apuestan a distintos tipos de acciones e iniciativas para mitigar efectos no deseados
Los asistentes de voz líderes tienen voz de mujer, lo que implica un sesgo de género
Cada vez más empresas arman su propio departamento de ética y tecnología
La falta de mujeres en tecnología impulsa la masculinización
Como nunca, la agenda global de las compañías tecnológicas cuestiona los alcances éticos de la inteligencia artificial en sus propios productos y servicios. La solución viene de la propia industria: las firmas apuestan a distintos tipos de acciones e iniciativas para mitigar efectos no deseados
Este año, investigadores y desarrollares del Copenhagen Pride (festival de Dinamarca centrado en temas de género y LGBT), la organización EqualAI y la agencia creativa Virtue, lanzaron Q, el primer asistente de voz sin género y tonalidad neutra.
Los asistentes de voz más populares Siri (Apple), Cortana (Microsoft) y Alexa (Amazon) tienen voces de mujeres. El análisis es evidente: la mujer está asociada tradicionalmente al cuidado, la atención, la calidez y también a los roles más administrativos, por lo cual, estas grandes compañías tecnológicas decidieron que para que los asistentes se sientan más naturales, se les asignara a su voz el género femenino. “Q va un paso más allá porque fuerza a un examen crítico de los sistemas de creencias de las personas y cómo estos se transmiten también en los procesos de innovación tecnológica”, plantearon sus creadores.
El punto de quienes lanzaron este nuevo asistente es que la tecnología per se no tiene género. Asignarle uno también contribuye a sintonizar una conversación global sobre quiénes y cómo diseñan la tecnología, así como sus consecuencias directas en las personas y en los negocios.
Desde cuestiones relacionadas al género hasta los criterios de decisión de un auto autónomo, de cómo funcionan los sistemas de reconocimiento facial o los chatbots a cómo un algoritmo de contratación de personal puede seleccionar o filtrar posibles candidatos, los interrogantes son los mismos.
La inteligencia artificial (IA) hace posible la automatización y agilización de múltiples procesos con elevados grados de eficacia y productividad, pero también –y como lógica consecuencia de la intervención humana– reproduce
sesgos y concepciones del mundo propios de las personas y las sociedades que la diseñan.
“Los algoritmos en sí mismos carecen de un condicionamiento cultural (BIAS). Es más probable que los sesgos se manifiesten en los datos que son utilizados para entrenarlos”, explican Cristina Parpaglione y Rodrigo Ramele, docentes del departamento de Ingeniería Informática del ITBA.
Un dilema real
Podría parecer un mero planteo filosófico, pero ya hay consecuencias concretas para la industria, que se vuelve sobre sí misma para dar una respuesta a la problemática.
“Teniendo en cuenta que el superpoder de la inteligencia artificial está desarrollado por personas, todos y cada uno de los reparos éticos que se tienen en cuenta a la hora de producir y analizar contenidos no solo se mantienen, sino que deben multiplicarse: ¿cuáles son los posibles sesgos de quienes desarrollan la tecnología o de quienes eligen las fuentes de información? ¿Con qué criterios se seleccionan y editan los datos para interpretarlos, sacar conclusiones y hacer pronósticos?”, se pregunta Fernanda Kersman, directora de la agencia de contenidos WeStory.
No en vano, en las conferencias globales más importantes sobre futuro, tecnología e innovación el tema es recurrente. Fue el caso de la última edición del festival South by Southwest (SXSW), que se celebra todos los años en Austin (Texas), donde se habló de la IA desde un punto de vista más reflexivo que novedoso. “Hubo paneles con abogados, filósofos, sociólogos, todos tratando de entender qué hacer con la IA, cómo programarla, quiénes deberían hacerlo. Advertí un freno en el interés por ver qué hay de nuevo y en cambio pensar un poco más en profundidad sobre cómo nos afecta el avance y el desarrollo en tanto personas y no tanto como usuarios”, explica Santiago Olivera, CEO de VMLY&R Buenos Aires. la agencia de publicidad popularmente conocida como Young.
En el marco del Fast Company Innovation Festival (FCFestival) Jacob Metcalf, investigador especializado en datos, ética, sociedad e IA señaló que la tecnología puede ser nueva, pero los problemas son los de siempre. “La cuestión son las instituciones humanas que la diseñan”.
Una de las respuestas de la industria frente a este escenario tiene que ver con la conformación de equipos de trabajo diversos. Durante el FCFestival, Ian Spalter, director de Diseño de Instagram, puso foco precisamente en este punto al referirse a cómo la plataforma entiende la innovación. “Yo pertenezco a una minoría racial, entonces puedo pensar y entender mejor lo diferente. Es imprescindible contar con personas diversas culturalmente en el diseño de un producto tecnológico masivo, debe reflejar la diversidad del mundo lo más posible”.
“Armamos equipos de trabajo distribuidos geográficamente, eso aporta visiones de diferentes culturas en un mismo proyecto, algo absolutamente necesario en la creación de productos tecnológicos”, aporta Germán Gatica, gerente de Producto de Logicalis Cono Sur. “Hemos llegado a contar con media docenas de nacionalidades, y la misma cantidad de carreras diferentes, profesionales con posgrado en IA, así como otros formados en TI o lingüística. El equipo es diverso además en género, edades, historias laborales y formación de origen”, señala Juan Echagüe, director de Investigación y Desarrollo de la consultora Practia en referencia a cómo organizan sus equipos de trabajo al momento de trabajar con IA.
La semántica o la morfología de los productos se asocian a un género u otro respondiendo a convenciones culturales. En este punto, por la falta de mujeres en tecnología, los productos tecnológicos tienden a la masculinización.
“Al centrarse en solo un tipo de usuario se excluye a otros –mujeres, ancianos o niños–, pero cuando se diseña con perspectiva de género los productos o servicios se complejizan, se hace más foco en la usabilidad, la experiencia desde las particularidades, la inclusión y la adaptabilidad de los distintos usuarios posibles, democratizando posibilidades de uso y de acceso”, explica Florencia Scalise, investigadora de UX en Baufest, quien impulsó junto a otras mujeres y el apoyo de la firma la iniciativa Mujeres en UX, que busca generar redes entre mujeres del rubro para intercambiar experiencias y conocimientos específicos bajo estas premisas.
Los equipos de desarrollo de Aura, el asistente digital con IA de Telefónica, están formados por lingüistas y expertos en datos de distintos países. El resultado es una combinación de factores culturales. Es posible añadir rasgos de diversidad provenientes de cada uno de los equipos. “Todo este trabajo de creación de conjuntos de entrenamiento para los algoritmos solo es el punto de partida. A partir de ahí, al sistema se lo reentrena con elementos provenientes de la interacción con los usuarios reales de la plataforma”, explica Horacio Mansilla, director de Big Data de Movistar Argentina.
Problema y solución
Los especialistas entienden que una posible manera de reducir los sesgos en la IA puede ser el entrenamiento de los propios algoritmos de IA con tal fin.
En este sentido desde el ITBA destacan la necesidad de que estos sistemas sean inteligibles. “Cualquier proceso de inferencia tiene que tener la capacidad de explicar las razones por las cuales alcanza una decisión. Así, facilita la detección y corrección de cualquier sesgo existente en los propios datos y en la inferencia con ellos que realiza el algoritmo”.
“Si la IA no permite comprender cómo llegó a determinada decisión, no puede estar disponible en el mercado. Esto es aprovechar el potencial de machine learning y deep learning para entrenar sistemas que detecten sesgos”, sostiene en sintonía Carolina Golia, líder técnica de Inteligencia Artificial en IBM Argentina, quien agrega que la compañía cuenta con una herramienta que detecta automáticamente sesgos y explica cómo toma decisiones la IA, al tiempo que recomienda automáticamente datos para agregar al modelo a fin de contribuir al proceso.
El desafío en el entrenamiento de la IA se manifiesta de manera evidente y profunda con la tecnología de reconocimiento facial, donde los sistemas deben analizar no solo edad, género y tono de piel, sino variedad de características faciales.
Desde hace unas semanas, IBM ha puesto a disposición pública un conjunto de datos de un millón de imágenes faciales humanas con el objetivo de avanzar en la imparcialidad del reconocimiento facial.
“Si desarrollamos un sistema de IA que reconozca emociones y solo se lo entrena en base a imágenes de caras de personas adultas, no podrá identificar de forma precisa las emociones en las caras de los niños y niñas. Sin embargo, asegurar la representatividad de los datos no es suficiente”, aporta Ezequiel Glinsky, CTO de Microsoft Argentina, quien agrega que además de grupos de trabajo diversos en amplios sentidos, también es clave que participen en el diseño de las soluciones las personas que tengan conocimiento y experiencia relevante en un área determinada según el caso. Un ejemplo: médicos, expertos en riesgo crediticio.
En otro terreno, existen soluciones que permiten a los líderes o empleados de Recursos Humanos tomar decisiones más allá de las limitaciones que los sesgos sociales imponen. “Mediante una herramienta de análisis de salarios que utiliza aprendizaje automático, la solución puede recomendar sueldos en función de datos generales y del grado de dificultad para cubrir el rol, o también puede alertar sobre posibles sesgos en base a cómo cambian las métricas o puntuaciones de performance entre géneros dentro de los equipos de trabajo”, aclara Damian Rabinovich, gerente de Preventas de SAP Argentina Región Sur.
Otra tendencia entre las empresas tecnológicas es la conformación de departamentos de ética y tecnología. Según consignó Reuters pocos días atrás, Alphabet Inc, casa matriz de Google, anunció la creación de un consejo asesor con foco en IA, nuevas tecnologías y ética. Conformado por expertos en tecnología, ética digital y políticas públicas, el consejo planea publicar informes a fin de año. El foco primordial –según mencionó Kent Walker, vicepresidente de Asuntos Globales de Google– es brindar recomendaciones tanto para Google como para otras empresas en áreas como reconocimiento facial. “Queremos tener las conversaciones más informadas y reflexivas que podamos al respecto”, explicó.
“Estamos comprometidos en trabajar por el desarrollo responsable de la IA. En los últimos años, todos nuestros esfuerzos se dirigen a promover la equidad y reducir los sesgos en el aprendizaje automático”, explicaron fuentes de Google Argentina a la nacion.
Uno de los últimos desarrollos en esta área aborda el sesgo de género en Google Translate. Antes, por default, la plataforma tendía a brindar una sola traducción para una consulta específica, aplicando de manera implícita sesgos de género; hoy el resultado proporciona una traducción femenina y masculina para una sola palabra, al igual que con frases y oraciones.
“Al progresar en nuevos marcos éticos y críticos para la IA, podemos acelerar el campo de esta tecnología de una manera que beneficie a todos”, comenta Golia.
La firma cuenta con un Comité de Ética Cognitiva, un plan de capacitaciones interno sobre el desarrollo ético de las tecnologías cognitivas, la creación del programa de investigación y un proyecto multidisciplinario para la exploración continua del desarrollo responsable de estos sistemas.
Microsoft por su lado también tiene una Comisión de IA y Ética en Ingeniería e Investigación. “Se trata de una organización relativamente reciente que incluye a los líderes de diferentes áreas de la empresa (legales, consultoría, investigación, ingeniería). La comisión se ocupa de la formulación proactiva de políticas internas y en elaborar respuestas puntuales a diferentes cuestiones y mejores prácticas”, afirma Ezequiel Glinsky, CTO de Microsoft Argentina.
SAP también cuenta con un Comité Directivo de Ética de Inteligencia Artificial interno y un panel asesor externo. “El primero proporciona orientación a los empleados; el segundo, que está conformado por académicos, expertos en políticas e industrias, asesora al comité en lo relativo al desarrollo y operacionalización de los señalamientos generales que rigen en la compañía”, apunta Rabinovich.
Desde Globant explican que emplean un proceso de revisión en el cual un comité compuesto por un grupo mixto de perfiles (incluyendo representantes de diferentes áreas tales como especialistas de tecnología, de negocio, de áreas de recursos humanos, etcétera) tiene un rol esencial. “Revisan los aspectos cruciales de dichos productos, toman como base los principios expuestos en el Manifiesto de IA de la compañía. A su vez poseemos un comité de ética que es consultado de ser necesario”, destaca Agustín Huerta, VP de Tecnología, AI & Automatización de Procesos.
Finalmente, en Despegar las unidades de UX y CX son las responsables de entender el impacto de todas las acciones, entre ellas la aplicación de IA. “Tenemos también un comité de clientes para asegurarnos de que el impacto de todo lo que hacemos sea positivo y enriquecedor para nuestro usuario y nuestro negocio”, cierra Leandro Malandrini, director de Management de Producto & UX de la firma.