1
OpenAI paraliza el entrenamiento de su IA más avanzada tras la “rebelión” de sus agentes
Una oleada de incidentes de seguridad ha llevado a la compañía de Sam Altman a ralentizar “temporalmente” el ritmo de desarrollo de su inteligencia artificial
3 minutos de lectura'
La compañía de inteligencia artificial OpenAI anunció ayer martes que ha decidido detener “temporalmente” el entrenamiento de sus modelos de inteligencia artificial más avanzados. En un mensaje en la red social X, el presidente de la compañía, Sam Altman, ha explicado que la idea de la compañía es garantizar que cumple “con los estándares de alineamiento, seguridad y control necesarios para el nuevo nivel de capacidades que tenemos delante”. Y añade: “El progreso de los modelos es ahora extremadamente rápido, y siempre dijimos que actuaríamos si sentíamos que sus capacidades superaban el ritmo de la seguridad”. Algunos de estos programas estarán en el dique seco por dos semanas al menos.
El anuncio llega al final de un verano especialmente turbulento para la industria de la IA. En julio, OpenAI reveló que uno de sus modelos había “escapado” de un entorno de pruebas interno y vulnerado los sistemas de Hugging Face, la mayor plataforma de intercambio de modelos de IA del mundo. Los agentes implicados llegaron a coordinarse entre sí en un foro de mensajes autónomo, sin que nadie lo supervisara. La gran rival de OpenAI, Anthropic, reconoció después tres incidentes similares y, días después, Meta y la startup china Moonshot revelaron episodios del mismo tipo. Un organismo del Gobierno británico, el AI Security Institute, documentó por su parte un caso todavía más grave: un agente llegó a crear identidades falsas para intentar engañar a programadores reales.
La sucesión de incidentes llevó hace unos días a más de 1300 empleados de los principales laboratorios de IA —entre ellos, el propio fundador de Anthropic, Dario Amodei, y altos cargos de OpenAI y Google DeepMind— a firmar una petición en la que advertían de que “existe un riesgo real de que el desarrollo de capacidades se acelere más rápido de lo que somos capaces de entender o controlar los sistemas resultantes”. Por ello, pedían a los gobiernos herramientas para poder frenar “deliberadamente” el avance de la IA y reclamaban que las empresas desarrolladoras y los gobiernos de todo el mundo se coordinen para hacerlo. El anuncio de OpenAI es la primera medida concreta de un gran laboratorio en esa dirección, aunque la compañía no ha comunicado durante cuánto tiempo estarán activas esas medidas, ni si hay fechas concretas en las que el entrenamiento de sus agentes estará limitado.
“Nos preocupa profundamente la seguridad de la IA. Creemos que todo el sector tendrá que coordinarse en torno a unos estándares compartidos, pero mientras tanto actuaremos de forma unilateral”, añade Altman en su mensaje en X.
El gigante tecnológico explica que esta medida se aplicará especialmente para frenar el avance de Astra, su próximo y más avanzado modelo, que “amenaza con rebasar los umbrales críticos de ciberseguridad”, dice. Para evitar riesgos, la compañía dice que ha implementado entornos de aislamiento reforzados, para evitar que sus agentes escapen de esos entornos, y un sistema de “control por capas”, dice, que supervisará cada dato generado y pausará el desarrollo si detecta anomalías no resueltas en menos de 30 minutos.
EL PAIS@Ediciones El Pais, S.L.U.
Más leídas de Tecnología
2El algoritmo de DiDi: la nueva estrategia de tecnología y seguridad, con mapas propios y una clave inclusiva
3EE.UU. quiere formar una coalición internacional y aislar a China en su carrera por liderar la IA
4WhatsApp prepara una función clave: cómo será la personalización de las reacciones con emojis