Openai no entiende cómo su IA toma las decisiones, según un estudio propio
Los modelos “se preocupan” por cosas diferentes a las que interesan a los humanos
Funciona. No se sabe muy bien cómo, pero funciona. Con otras palabras, esta es una de las conclusiones a las que Openai, la compañía de CHATGPT, ha llegado en una investigación interna que ha tratado de descubrir la forma en la que los modelos de lenguaje toman sus decisiones. Su problema es de escala. Necesita encontrar un método que analice de forma fiable las decisiones de una red neuronal compuesta por millones de neuronas artificiales. De momento, la empresa solo tiene “la esperanza” de haber encontrado un enfoque que le permita hacerlo en el futuro.
“Los modelos lingüísticos son cada vez más capaces y están más extendidos, pero no entendemos cómo funcionan”, indica el trabajo de investigadores de Openai publicado el pasado jueves. La frase refuerza los argumentos de quienes alertan sobre la falta de seguridad de algunas de las IA que se están poniendo al alcance del público.
Openai matiza que “trabajos recientes han avanzado en la comprensión de un pequeño número de circuitos y comportamientos limitados”, pero considera que “para entender completamente un modelo de lenguaje” es necesario “analizar millones de neuronas”. Como esto implica un gran trabajo, ha comenzado por usar una técnica que analice todas las neuronas de un modelo de lenguaje de forma automática.
No lo ha conseguido todavía, según los resultados de la investigación publicada. Aunque su método no le ha permitido descubrir el funcionamiento de las neuronas, espera que lo haga en el futuro. “Nuestra esperanza – señalan los investigadores– es que, partiendo de este enfoque de automatización de la interpretabilidad, nos permitirá auditar exhaustivamente la seguridad de los modelos antes de su despliegue”. Es decir, ahora no lo hacen pese a que GPT-4 está ya ampliamente desplegado.
Las neuronas que componen una red neuronal de inteligencia artificial son pequeños nodos de toma de decisiones que reciben información, la procesan y la emiten, en un funcionamiento que se asemeja al de las neuronas del cerebro humano, que están interconectadas con otras y toman decisiones según los estímulos que les llegan.
Para el estudio, Openai tomó su modelo de lenguaje GPT-4 actual y le hizo generar y evaluar explicaciones sobre cómo se comportan las neuronas en otro de modelo, GPT-2, que es mucho más pequeño que el primero. Los modelos se expresan mediante el bot CHATGPT.
En una búsqueda de las razones que impiden por el momento entender la forma en que la IA toma sus decisiones, los ingenieros de Openai apuntaron que podría deberse a que las neuronas pueden ser polisemánticas, estar ligadas a más de un concepto, lo que podría inducir a confusiones. Otro factor a tener en cuenta es que los modelos lingüísticos “pueden representar conceptos ajenos para los que los humanos no tienen palabras”. “Se preocupan por cosas diferentes, por ejemplo, construcciones estadísticas útiles para tareas de predicción del siguiente token, o porque el modelo ha descubierto abstracciones naturales que los humanos aún no han descubierto”, indica el trabajo de Openai.
La investigación de la compañía demuestra que los modelos de los que se alimenta CHATGPT son de lo que se conoce como de “caja negra”. Se sabe que funcionan, pero no exactamente de qué forma acaban tomando las decisiones a partir de la interacción entre sus neuronas. Algunos expertos apuntan a que la tarea de descifrar una “caja negra” de IA es prácticamente imposible de resolver.c
“Los modelos de lenguaje son cada vez más capaces, pero no entendemos cómo funcionan”, asegura