Por qué la humanidad depende de los algoritmos y qué riesgo corremos
Desde la prosperidad económica a nuestra salud, el futuro estará determinado por modelos matemáticos que predecirán nuestras decisiones, pero un modelo mal construido podría ser catastrófico
CuandoCuando una multinacional se planteó delegar su proceso de selección de personal a un algoritmo se encontró con que el ordenador penalizaba explícitamente a las mujeres. Tener palabras como «mujer» o «femenino» en el currículum (por ejemplo, «capitana del equipo femenino de fútbol») disminuía la puntuación de la candidata. La empresa declaró que nunca había llegado a utilizar el algoritmo para tomar decisiones de contratación. También hay algoritmos en el sistema penal. En Estados Unidos se utilizan para predecir el riesgo de reincidencia de las personas que cometen delitos. La eficacia global es moderada, pero los resultados dependen mucho de la raza. Hay el doble de falsos positivos entre las personas negras que entre las blancas. Es decir, una negra tiene el doble de riesgo de ser incorrectamente catalogada como potencial reincidente que una persona blanca.
Heredando sesgos
¿No son las máquinas las abanderadas de la objetividad? Nada más lejos de la realidad. Los algoritmos no son totalmente autónomos, sino que basan sus decisiones en los datos que se les proporcionan. Si la multinacional había contratienen tado principalmente a hombres en el pasado, el algoritmo aprendería a darles preferencia a ellos frente a ellas. Si entre las personas reincidentes detenidas hay más negras que blancas, el algoritmo predecirá que las negras tienen más riesgo de reincidir. Pero si los algoritmos se siguen utilizando es porque ofrecen grandes ventajas potenciales con respecto a los métodos tradicionales de toma de decisiones y cálculo de probabilidades. Y todo se debe a la capacidad de procesamiento de grandísimas cantidades de datos. Por ejemplo, una empresa reclutando personal puede analizar muchos más currículums de manera automatizada que manual y así llegar a considerar la contratación de personas más diversas.
Asimismo, en Medicina, los algoritmos podrían revolucionar los diagnósticos y tratamientos. A la hora de tomar una decisión, una persona puede tener en cuenta entre cinco y diez datos. Pero la historia clínica al detalle de un paciente medio a lo largo de su vida puede llegar a ocupar 300 libros.
Un algoritmo bien diseñado puede tener en cuenta muchísima más información que una persona para predecir, por ejemplo, el riesgo de que surjan complicaciones después de una operación. De hecho, sin algoritmos, no sería posible la llamada Medicina P4: predictiva, preventiva, personalizada y participativa. Si la obtención de un puesto de trabajo o de una tarjeta de crédito pueden ser factores muy trascendentes para la vida de una persona, el juicio de un algoritmo en materia de salud puede suponer la diferencia entre la vida y la muerte. Por eso es de máxima importancia que los algoritmos que se utilicen en Medicina no caigan en fallos como los anteriores.
Seis criterios de calidad
Para conseguirlo, un nuevo estudio plantea seis criterios que debe cumplir cualquier algoritmo en materia de salud. Con esta propuesta, el equipo, procedente de las Universidades de Florida, Virginia y Emory, en Estados Unidos, pretende establecer un marco para evaluar los algoritmos que ya existen, además de orientar el desarrollo de los futuros.Según el estudio, publicado en PLOS Digital Health, los algoritmos de salud que ser explicables. Es decir, deben poder aclarar la importancia relativa de las diferentes características de un paciente y su estado de salud en los resultados del algoritmo sin confundir asociación con causalidad. Además, deben ser dinámicos, de modo que ajusten sus predicciones a los cambios en el paciente en tiempo real. También tienen que ser precisos, aprovechando al máximo todos los datos disponibles sobre cada paciente.
El cuarto criterio para los algoritmos es que sean autónomos, es decir, que necesiten poca intervención humana en el aprendizaje y ninguna en la ejecución. Por otro lado, han de ser justos, evaluando y mitigando los sesgos implícitos y las desigualdades sociales. Por último, los algoritmos deben ser reproducibles. Por tanto, requieren validación externa y se deben compartir con las comunidades académicas.
Además de lanzar esta propuesta de criterios, el estudio analiza los ocho algoritmos de salud más citados en la bibliografía académica para averiguar si los cumplen. Aunque todos se consideran precisos, ninguno cumple todos los criterios de la lista. Es decir, hay amplio margen de mejora, sobre todo, para hacerlos más autónomos, justos, explicables y reproducibles.
Aunque el estudio se ciñe al terreno de la salud, estos criterios bien podrían aplicarse a otros ámbitos. Ninguno de los dos algoritmos iniciales es justo, ya que discrimina a ciertos sectores de la población. Pero tampoco son explicables, porque ni siquiera las empresas saben cómo llega el algoritmo a las decisiones que toma. Las empresas se han escudado en esta falta de transparencia para eludir responsabilidades, pero el nuevo estudio precisamente reclama que no es una excusa válida.
En plena era de la llamada cuarta revolución industrial, resulta esperable que cada vez más decisiones se deleguen a los algoritmos. Los ordenadores nos ofrecen un gran potencial de tomar decisiones mucho más informadas de lo que seríamos capaces sin ellos. Pero solo anticipándonos a los riesgos que pueden conllevar sabremos usarlos para que realmente nos beneficien.