Expansión C. Valenciana - Economía Digital
¿Podremos controlar una inteligencia mayor a la humana?
OpenAI ha disuelto el departamento encargado de controlar los sistemas de IA más inteligentes que los humanos, y aumentan las dudas sobre los riesgos de una IA general.
“Dejar este trabajo ha sido una de las cosas más difíciles que he hecho en mi vida, porque necesitamos urgentemente descubrir cómo dirigir y controlar sistemas de inteligencia artificial mucho más inteligentes que nosotros. Pensé que OpenAI sería el mejor lugar del mundo para realizar esta investigación. Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura.”, aseguraba en la red social X Jan Leike, líder del equipo de Superalineación de la compañía de IA generativa la semana pasada.
Leike abandonaba la compañía tan solo unas horas después de que lo hiciera Ilya Sutskever, cofundador de OpenAI y líder junto a él del equipo de superalineación. Este departamento, creado por la compañía comandada por Sam Altman en julio del año pasado, tenía como principal objetivo crear avances científicos y técnicos para dirigir y controlar los sistemas de IA mucho más inteligentes que los humanos. El objetivo era resolver los desafíos técnicos básicos de la alineación de la superinteligencia para 2027, aseguraba la compañía en su web.
Menos de un año después de su puesta en marcha, la salida de Sutskever, seguida de la de Leike, han llevado a OpenAI a cerrar su departamento centrado en controlar los riesgos de la llamada inteligencia artificial general (IAG). “Construir máquinas más inteligentes que los humanos es una tarea intrínsecamente peligrosa. OpenAI del departamento de máxima asume una enorme responsabilidad seguridad causaron una ola en nombre de toda la de preocupación ante la falta humanidad. Pero en los últimos de una dirección clara por años, la cultura y los procesos parte de OpenIA para controlar de seguridad han pasado los riesgos de una inteligencia a un segundo plano frente artificial general. Tal es a los productos brillantes”, así, que el pasado fin de semana aseguraba Leike en su publicación los fundadores de OpenAI, en redes. Sam Altman y Greg
Las palabras del directivo Brockmam, publicaron en la de la compañía estadounidense red social X un comunicado y su marcha como líder * de casi 500 palabras explicando
Ilya Sutskever,
Los dos líderes del departamento de superalineación de OpenAI han salido de la compañía
su postura en cuanto a la seguridad en su empresa.
“No existe un manual probado sobre cómo recorrer el camino hacia IAG. Creemos que la comprensión empírica puede ayudar a orientar el camino a seguir. Creemos tanto en aprovechar las enormes ventajas como en trabajar para mitigar los riesgos graves; Nos tomamos muy en serio nuestro papel aquí y sopesapeligros mos cuidadosamente los comentarios sobre nuestras acciones”, aseguraba Brockman en la publicación firmada también por Altman.
Poco más tarde, OpenAI confirmaba el cierre de su departamento de superalineación, absorbiendo este trabajo en otros departamentos de investigación de la compañía.
Asimismo, las salidas de Leike y Sutskever no han sido las únicas, aunque ésta última haya sido de las más sonadas. Sutskever ayudó a Altman con la creación de OpenAI y era una de las mentes más reconocidas en cuanto a inteligencia artificial. El pasado mes de noviembre, fue uno de los cuatro miembros de la junta que despidió a Altman, quien fue restaurado como consejero delegado cinco días después tras la revuelta del personal de la empresa.
A los dos directivos del área de seguridad máxima se han sumado en los últimos meses otras marchas en las que los
Superalineación era el área encargada de la seguridad de una IA tan inteligente como los humanos
En los últimos meses han sido varios los empleados de OpenAI que han dejado la empresa
de la IA general vuelven a estar presentes. El pasado mes de febrero, el miembro del equipo de seguridad Daniel Kokotajlo dejó la compañía y poco después publicó que su salida se debía a la falta de confianza sobre el comportamiento que tendrá la empresa ente la IAG.
Poco después, otro directivo de la compañía, Logan Kilpatrick, se fue a Google y en una posterior entrevista aseguró que la compañía estaba cambiando su forma de trabajar, haciendo referencia a la importancia explosiva por querer hacer negocios en detrimento de la seguridad.
En febrero, William Saunders también abandonó el equipo de Superalineación, mientras que la semana pasada el ingeniero principal de la compañía, Evan Morikawa, anunciaba su partida a Boston Dynamics y DeepMind. “Creo que esto es necesario para realizar una inteligencia artificial general segura en el mundo”, aseguraba.
La preocupación de los empleados de OpenAI también está presente entre científicos y expertos en la materia desde hace tiempo. Esta misma semana, 25 reputados científicos publicaban un manifiesto en la revista Science asegurando que la investigación sobre seguridad en la IA va con retraso.
En la carta, afirman que hay dinero y posibilidades de sobra para que las empresas tecnológicas sigan avanzando hacia una IA que iguale o supere las capacidades humanas, pero si no se gestiona con cuidado, vienen riesgos a gran escala. “Sin suficiente precaución, podemos perder irreversiblemente el control de los sistemas autónomos de IA, haciendo que la intervención humana sea ineficaz. El cibercrimen a gran escala, la manipulación social y otros daños podrían escalar rápidamente. Este avance desenfrenado de la IA podría culminar en una pérdida de vidas y de la biosfera a gran escala, y en la marginación o extinción de la humanidad”, afirman.