Expansión C. Valenciana - Economía Digital

¿Podremos controlar una inteligenc­ia mayor a la humana?

OpenAI ha disuelto el departamen­to encargado de controlar los sistemas de IA más inteligent­es que los humanos, y aumentan las dudas sobre los riesgos de una IA general.

- Por Marta Juste

“Dejar este trabajo ha sido una de las cosas más difíciles que he hecho en mi vida, porque necesitamo­s urgentemen­te descubrir cómo dirigir y controlar sistemas de inteligenc­ia artificial mucho más inteligent­es que nosotros. Pensé que OpenAI sería el mejor lugar del mundo para realizar esta investigac­ión. Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridade­s centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura.”, aseguraba en la red social X Jan Leike, líder del equipo de Superaline­ación de la compañía de IA generativa la semana pasada.

Leike abandonaba la compañía tan solo unas horas después de que lo hiciera Ilya Sutskever, cofundador de OpenAI y líder junto a él del equipo de superaline­ación. Este departamen­to, creado por la compañía comandada por Sam Altman en julio del año pasado, tenía como principal objetivo crear avances científico­s y técnicos para dirigir y controlar los sistemas de IA mucho más inteligent­es que los humanos. El objetivo era resolver los desafíos técnicos básicos de la alineación de la superintel­igencia para 2027, aseguraba la compañía en su web.

Menos de un año después de su puesta en marcha, la salida de Sutskever, seguida de la de Leike, han llevado a OpenAI a cerrar su departamen­to centrado en controlar los riesgos de la llamada inteligenc­ia artificial general (IAG). “Construir máquinas más inteligent­es que los humanos es una tarea intrínseca­mente peligrosa. OpenAI del departamen­to de máxima asume una enorme responsabi­lidad seguridad causaron una ola en nombre de toda la de preocupaci­ón ante la falta humanidad. Pero en los últimos de una dirección clara por años, la cultura y los procesos parte de OpenIA para controlar de seguridad han pasado los riesgos de una inteligenc­ia a un segundo plano frente artificial general. Tal es a los productos brillantes”, así, que el pasado fin de semana aseguraba Leike en su publicació­n los fundadores de OpenAI, en redes. Sam Altman y Greg

Las palabras del directivo Brockmam, publicaron en la de la compañía estadounid­ense red social X un comunicado y su marcha como líder * de casi 500 palabras explicando

Ilya Sutskever,

Los dos líderes del departamen­to de superaline­ación de OpenAI han salido de la compañía

su postura en cuanto a la seguridad en su empresa.

“No existe un manual probado sobre cómo recorrer el camino hacia IAG. Creemos que la comprensió­n empírica puede ayudar a orientar el camino a seguir. Creemos tanto en aprovechar las enormes ventajas como en trabajar para mitigar los riesgos graves; Nos tomamos muy en serio nuestro papel aquí y sopesapeli­gros mos cuidadosam­ente los comentario­s sobre nuestras acciones”, aseguraba Brockman en la publicació­n firmada también por Altman.

Poco más tarde, OpenAI confirmaba el cierre de su departamen­to de superaline­ación, absorbiend­o este trabajo en otros departamen­tos de investigac­ión de la compañía.

Asimismo, las salidas de Leike y Sutskever no han sido las únicas, aunque ésta última haya sido de las más sonadas. Sutskever ayudó a Altman con la creación de OpenAI y era una de las mentes más reconocida­s en cuanto a inteligenc­ia artificial. El pasado mes de noviembre, fue uno de los cuatro miembros de la junta que despidió a Altman, quien fue restaurado como consejero delegado cinco días después tras la revuelta del personal de la empresa.

A los dos directivos del área de seguridad máxima se han sumado en los últimos meses otras marchas en las que los

Superaline­ación era el área encargada de la seguridad de una IA tan inteligent­e como los humanos

En los últimos meses han sido varios los empleados de OpenAI que han dejado la empresa

de la IA general vuelven a estar presentes. El pasado mes de febrero, el miembro del equipo de seguridad Daniel Kokotajlo dejó la compañía y poco después publicó que su salida se debía a la falta de confianza sobre el comportami­ento que tendrá la empresa ente la IAG.

Poco después, otro directivo de la compañía, Logan Kilpatrick, se fue a Google y en una posterior entrevista aseguró que la compañía estaba cambiando su forma de trabajar, haciendo referencia a la importanci­a explosiva por querer hacer negocios en detrimento de la seguridad.

En febrero, William Saunders también abandonó el equipo de Superaline­ación, mientras que la semana pasada el ingeniero principal de la compañía, Evan Morikawa, anunciaba su partida a Boston Dynamics y DeepMind. “Creo que esto es necesario para realizar una inteligenc­ia artificial general segura en el mundo”, aseguraba.

La preocupaci­ón de los empleados de OpenAI también está presente entre científico­s y expertos en la materia desde hace tiempo. Esta misma semana, 25 reputados científico­s publicaban un manifiesto en la revista Science asegurando que la investigac­ión sobre seguridad en la IA va con retraso.

En la carta, afirman que hay dinero y posibilida­des de sobra para que las empresas tecnológic­as sigan avanzando hacia una IA que iguale o supere las capacidade­s humanas, pero si no se gestiona con cuidado, vienen riesgos a gran escala. “Sin suficiente precaución, podemos perder irreversib­lemente el control de los sistemas autónomos de IA, haciendo que la intervenci­ón humana sea ineficaz. El cibercrime­n a gran escala, la manipulaci­ón social y otros daños podrían escalar rápidament­e. Este avance desenfrena­do de la IA podría culminar en una pérdida de vidas y de la biosfera a gran escala, y en la marginació­n o extinción de la humanidad”, afirman.

 ?? ??
 ?? ?? Sam Altman, CEO y fundador de OpenAI, (imagen de la derecha) defiende que la compañía está trabajando para crear una IA general segura, aunque eso suponga tener que retrasar su lanzamient­o. Abajo,
líder junto a Jan Leike del departamen­to de OpenAI encargado de la seguridad de la inteligenc­ia artificial superior a los humanos; ambos abandonaro­n la compañía.
Sam Altman, CEO y fundador de OpenAI, (imagen de la derecha) defiende que la compañía está trabajando para crear una IA general segura, aunque eso suponga tener que retrasar su lanzamient­o. Abajo, líder junto a Jan Leike del departamen­to de OpenAI encargado de la seguridad de la inteligenc­ia artificial superior a los humanos; ambos abandonaro­n la compañía.

Newspapers in Spanish

Newspapers from Spain