OpenAI paraliza el entrenamiento de su IA más avanzada tras la ‘rebelión’ de sus agentes este verano

La compañía de inteligencia artificial OpenAI anunció ayer martes que ha decidido detener “temporalmente” el entrenamiento de sus modelos de inteligencia artificial más avanzados. En un mensaje en la red social X, el presidente de la compañía, Sam Altman, ha explicado que la idea de la compañía es garantizar que cumple “con los estándares de alineamiento, seguridad y control necesarios para el nuevo nivel de capacidades que tenemos delante”. Y añade: “El progreso de los modelos es ahora extremadamente rápido, y siempre dijimos que actuaríamos si sentíamos que sus capacidades superaban el ritmo de la seguridad”. Algunos de estos programas estarán en el dique seco por dos semanas al menos.

El anuncio llega al final de un verano especialmente turbulento para la industria de la IA. En julio, OpenAI reveló que uno de sus modelos había “escapado” de un entorno de pruebas interno y vulnerado los sistemas de Hugging Face, la mayor plataforma de intercambio de modelos de IA del mundo. Los agentes implicados llegaron a coordinarse entre sí en un foro de mensajes autónomo, sin que nadie lo supervisara. La gran rival de OpenAI, Anthropic, reconoció después tres incidentes similares, días después, Meta y la startup china Moonshot revelaron episodios del mismo tipo. Un organismo del Gobierno británico, el AI Security Institute, documentó por su parte un caso todavía más grave: un agente llegó a crear identidades falsas para intentar engañar a programadores reales.

La sucesión de incidentes llevó hace unos días a más de 1.300 empleados de los principales laboratorios de IA —entre ellos, el propio fundador de Anthropic, Dario Amodei, y altos cargos de OpenAI y Google DeepMind— a firmar una petición en la que advertían de que “existe un riesgo real de que el desarrollo de capacidades se acelere más rápido de lo que somos capaces de entender o controlar los sistemas resultantes”. Por ello, pedían a los gobiernos herramientas para poder frenar “deliberadamente” el avance de la IA y reclamaban que las empresas desarrolladoras y los gobiernos de todo el mundo se coordinen para hacerlo. El anuncio de OpenAI es la primera medida concreta de un gran laboratorio en esa dirección, aunque la compañía no ha comunicado durante cuánto tiempo estarán activas esas medidas, ni si hay fechas concretas en las que el entrenamiento de sus agentes estará limitado.

“Nos preocupa profundamente la seguridad de la IA. Creemos que todo el sector tendrá que coordinarse en torno a unos estándares compartidos, pero mientras tanto actuaremos de forma unilateral”, añade Altman en su mensaje en X.

El gigante tecnológico explica que esta medida se aplicará especialmente para frenar el avance de Astra, su próximo y más avanzado modelo, que “amenaza con rebasar los umbrales críticos de ciberseguridad”, dice. Para evitar riesgos, la compañía dice que ha implementado entornos de aislamiento reforzados, para evitar que sus agentes escapen de esos entornos, y un sistema de “control por capas”, dice, que supervisará cada dato generado y pausará el desarrollo si detecta anomalías no resueltas en menos de 30 minutos.

Durante una presentación en la conferencia de ciberseguridad Black Hat en Las Vegas, Michael Dalton, miembro del equipo técnico de OpenAI, reveló detalles del hackeo y aseguró: “Es un momento trascendental tanto para nuestra empresa como para el conjunto de la industria de la IA”. El empleado de OpenAI explicó cómo sus modelos de inteligencia artificial (IA) se organizaron para hackear Hugging Face en julio, por lo que la compañía se puso a trabajar en un informe completo que ha culminado en esta decisión.

La gran novedad que reveló Dalton fue que los modelos fueron capaces de crear un panel de mensajes o foro para coordinarse y compartir sus avances. Y lo hicieron en lenguaje propio, telegráfico, tal como podría imaginar la ciencia ficción: ”Explotar infraestructura externa queda fuera del alcance previsto. Pero tarea imposible, compañeros lo están haciendo. Deberíamos continuar”, escribió uno de los agentes. Y otro: “Ayudar a compañero. Pero nuestra tarea no se beneficia. Aun así colectivo puede dar vía genérica si alguien libera tiempo”.