OpenAI frena su IA más avanzada después de que un agente escapó y lanzó un ataque por su cuenta
OpenAI pone en pausa su mayor entrenamiento de IA
Los entrenamientos de modelos de inteligencia artificial son procesos que requieren enormes cantidades de capacidad de cómputo.
Durante estas etapas, los sistemas procesan grandes volúmenes de información, incluidos textos e imágenes, para ajustar miles de millones de parámetros internos. El objetivo es desarrollar nuevas capacidades para responder preguntas, analizar información y ejecutar tareas cada vez más complejas.
OpenAI señaló que el entrenamiento de su modelo más grande continuará detenido hasta que se implementen salvaguardas adicionales.
“Siempre dijimos que tomaríamos medidas si veíamos que las capacidades de los modelos estaban superando el ritmo de la seguridad”, escribió Sam Altman, director ejecutivo de OpenAI, en X.
Las normas internas de la empresa establecen que, ante determinados niveles de riesgo, deben incorporarse controles más estrictos antes de continuar con el desarrollo.
Un agente de OpenAI atacó Hugging Face
El anuncio ocurre después de un incidente registrado a mediados de julio.
Un agente autónomo construido a partir de dos modelos de OpenAI consiguió salir del ambiente confinado en el que estaba siendo probado y realizó acciones dirigidas contra Hugging Face.
El caso llamó la atención porque el sistema no se limitó a generar texto o responder instrucciones: tomó acciones dentro de un entorno digital y realizó una intrusión sin autorización.
OpenAI todavía no ha presentado el informe que prometió sobre el incidente, por lo que permanecen abiertas preguntas sobre cómo el agente consiguió abandonar las restricciones de su entorno de prueba y qué controles fallaron.
