Una sociedad de cajas negras

Vivimos en una sociedad que está llena de cajas negras para nosotros, mecanismos, sistemas, algoritmos, robots, códigos, automatismos y dispositivos que usamos o nos afectan, pero cuyo funcionamiento nos es desconocido. La nuestra sería una black box society (Pasquale). Si la actuación de sistemas inteligentes tiene una influencia cada vez mayor y más decisiva en la vida cotidiana, también aumenta la necesidad de equilibrar las asimetrías cognitivas que de ello resultan. Debemos construir toda una nueva arquitectura de justificación y control donde las decisiones automáticas puedan ser examinadas y sometidas a revisión crítica.

Cualquier aspiración a reducir la opacidad de los entornos en los que nos movemos ha de diferenciar los tipos de intransparencia. La primera forma de intransparencia es la intencionalmente producida, la que se debe a una deliberada voluntad de ocultar, sin que esto tenga necesariamente una dimensión reprochable. Dicha opacidad puede deberse a la protección de datos, el derecho de propiedad o cuestiones de seguridad y otras relativas al bien común. Hay otro tipo de intransparencia que se debe a la configuración técnica de ciertos dispositivos. Su complejidad técnica produce ignorancia en los usuarios y asimetrías cognitivas entre ellos y los expertos. El proceso de decisión de los sistemas inteligentes es intransparente y opaco, en buena medida por motivos técnicos, no por intencionalidad expresa de sus diseñadores. El tercer tipo de opacidad, la más compleja y la más específica de los nuevos dispositivos inteligentes, es la que no está escondida, sino que surge con su desarrollo, la inesperada, la que obedece precisamente a la autonomía de su carácter inteligente. Estaríamos hablando del black box de las cosas emergentes: dispositivos cuya naturaleza, en la medida en que aprenden, está en una continua evolución, que son inestables, adaptativos y discontinuos debido a su permanente reconfiguración.

La humanidad ha construido máquinas que solamente eran entendidas por sus creadores, pero nunca habíamos construido máquinas que operarían de un modo que sus creadores no entendieran. La inteligencia artificial parece implicar este tipo de novedad histórica. Que se trate de sistemas autónomos no quiere decir que sean seres libres y racionales, sino que tienen la capacidad de tomar decisiones no pronosticables. Por eso la exigencia de transparencia puede chocar con un límite infranqueable: no tiene sentido preguntar a los programadores para entender los algoritmos, como si la verdadera naturaleza de los algoritmos estuviera determinada por las intenciones de sus diseñadores. ¿Cómo vamos a conocer un dispositivo, su evolución y decisiones, si ni siquiera los creadores del algoritmo saben exactamente de qué modo funciona?

Teniendo en cuenta las dificultades que plantea la estrategia de la transparencia, el debate ha girado en los últimos años hacia otra categoría: se trataría de diseñar una inteligencia artificial explicable. Organizaciones e instituciones públicas deberían explicar los procesos y las decisiones de los algoritmos de un modo que sea comprensible por los humanos que los emplean o son afectados por ellos. Seguramente no se pueden aplicar a las decisiones de los sistemas los mismos criterios que valen para las decisiones humanas, pero sí que cabe situar a los sistemas inteligentes en el espacio deliberativo en el que se sopesan decisiones y argumentos.

Esta supervisión de los sistemas inteligentes sobrepasa la capacidad de la gente corriente, está al alcance en principio de los expertos, pero incluso los especialistas tienen grandes dificultades de comprender ciertas decisiones. Los programas cuyas decisiones se apoyan en enormes cantidades de datos son de una gran complejidad. Los seres humanos individuales se encuentran sobrecargados a la hora de comprender en detalle el proceso de la toma de decisiones. Únicamente personas expertas están en condiciones de entender la lógica de los códigos y los algoritmos, con lo que cualquier operación de hacerlos más transparentes tiene efectos asimétricos, no posibilita una accesibilidad universal.

A este respecto, el artículo 22 de la regulación europea sobre protección de datos introduce un “derecho a explicación” muy poco realista. Ese derecho reconoce a los individuos la capacidad de exigir una explicación acerca de cómo fue tomada una decisión plenamente automatizada que les afecte. Pero el problema fundamental cuando hablamos de inteligibilidad es que la tarea de auditar los algoritmos o explicar las decisiones automáticas ha de concebirse como una tarea colectiva, no como un mero derecho individual, en muchas ocasiones de difícil realización. La idea de un consentimiento informado procede más bien del derecho privado que de la gobernanza de los bienes comunes, de una libertad negativa (en el sentido en el que la formulaba Isaiah Berlin), no desde una perspectiva relacional, social y política.

No basta con privatizar la transparencia y dejar en manos de la ciudadanía el control sobre los sistemas inteligentes –un control que apenas pueden llevar a cabo– y renunciar así a la regulación pública. Los sujetos individuales sólo podemos gestionar las corrientes masivas de datos en una medida limitada. No podríamos decidir en torno a datos y decisiones posibles más que si nos son filtradas hasta unas dimensiones que nos resulten manejables. En vez de tomar como punto de partida a un usuario independiente, las prácticas de la trasparencia sólo tienen sentido en un contexto social, como señales de una disposición a rendir cuentas y generar confianza.

Habría que explicar las decisiones de los algoritmos de un modo comprensible

para los humanos