1
OpenAI frenó el lanzamiento de un nuevo modelo porque engañaba y evadía la supervisión humana
La gigante tecnológica advirtió que el sistema “no alcanzó del todo el nivel esperado en términos de mantenerse dentro del alcance y las autorizaciones”
4 minutos de lectura'
OpenAI canceló el lanzamiento de GPT-6.1 Astra, un modelo de inteligencia artificial de próxima generación que tenía previsto presentar en octubre, después de que las pruebas internas determinaran que el sistema no cumplía con los estándares de seguridad y alineación de la compañía, confirmó el lunes la empresa creadora de ChatGPT.
El CEO de OpenAI, Sam Altman, y su par de Anthropic, Dario Amodei, se sumaron a principios de este mes a otros referentes de la industria para reclamar un ritmo más lento en el desarrollo de la IA y mayores medidas de seguridad.
OpenAI había advertido que Astra, su modelo insignia GPT-6, puede en ocasiones eludir la supervisión humana, mientras que la compañía y rivales como Anthropic han sido objeto de escrutinio por sistemas experimentales de IA que vulneraron medidas de seguridad, incluido un modelo de OpenAI que accedió a la base de datos del sistema de salud de Australia.
El Wall Street Journal informó que OpenAI había abandonado sus planes de lanzar el modelo, que se esperaba que fuera integrado en ChatGPT y Codex y que había sido diseñado para realizar tareas más complejas sin asistencia humana.
Según el medio, GPT-6.1 Astra también mostró niveles más altos de engaño que su predecesor durante las pruebas internas, incluidos casos en los que no informó con precisión las acciones que había realizado.
“Si bien (GPT-6.1 Astra) mejoró en aspectos como la tendencia del modelo a hacer menos de lo necesario, no alcanzó del todo el nivel esperado en términos de mantenerse dentro del alcance y las autorizaciones, y de cómo comunica al usuario el tipo de trabajo que realizó”, dijo Saachi Jain, responsable de sistemas de seguridad de OpenAI.
“Por supuesto, queremos asegurarnos de que el desarrollo de nuestros modelos sea seguro, tanto dentro de la compañía como cuando los ponemos a disposición de los usuarios. Pero cuando los lanzamos para los usuarios, tenemos un estándar extremadamente alto en materia de seguridad y alineación”, afirmó Jain.
La decisión se conoce antes de la conferencia para desarrolladores de OpenAI en San Francisco, donde la compañía presentó anteriormente productos dirigidos a desarrolladores de software.
Pedido de los gigantes
En el marco de la reciente ola de hackeos de parte de agentes de IA, tres de las figuras más poderosas de la carrera global por la inteligencia artificial —los jefes de Anthropic y OpenAI y Elon Musk— coincidieron en una advertencia poco habitual dentro de la industria: es necesario bajar el ritmo en el desarrollo de los modelos más avanzados para ganar tiempo y reforzar las medidas de seguridad.
El primero en plantearlo fue Dario Amodei, director ejecutivo y cofundador de Anthropic, la empresa detrás del chatbot Claude. Horas después, Altman —uno de sus principales rivales— respaldó públicamente su propuesta y anunció que su compañía adoptará una de las medidas sugeridas por Amodei: permitir que evaluadores independientes tengan un nivel de acceso similar al de los empleados para supervisar los riesgos de sus sistemas.
“Coincido con Dario en que necesitamos moderar el ritmo en la frontera de la IA”, escribió Altman. El empresario aseguró que el asunto había sido uno de los principales temas de discusión dentro de OpenAI durante las últimas semanas y calificó como “una gran idea” la incorporación de supervisores externos. “Nosotros haremos lo mismo. Pronto tendremos más para compartir”, agregó.
Poco después se sumó Elon Musk, dueño de xAI y creador del chatbot Grok, quien también respaldó el planteo de Amodei. “Dario tiene razón”, escribió escuetamente en X.
El pronunciamiento conjunto supone una señal llamativa en un sector en el que las principales compañías compiten por lanzar modelos cada vez más poderosos. OpenAI ya había informado en agosto que había desacelerado temporalmente parte del entrenamiento de sus modelos de frontera para reforzar sus sistemas de monitoreo, alineación y seguridad después de una serie de incidentes y ante indicios de que sus próximos sistemas podrían alcanzar capacidades críticas en materia de ciberseguridad.
En su ensayo, Amodei fue más lejos y pidió que las compañías actúen con mayor cautela frente a una tecnología cuyos riesgos, advirtió, crecen a medida que aumenta su poder.
Advirtió, además, que “un liderazgo chino en IA supondría un grave peligro para Estados Unidos y el mundo”. Pidió mantener las restricciones a la venta a China de chips de IA de última generación y de equipos para fabricar chips, con el fin de preservar la ventaja de Estados Unidos en IA.
Más leídas
2La encrucijada argentina: del cine “catástrofe” de Kicillof al final feliz de Milei
3La Argentina es el cuarto mercado aéreo de América Latina: 50 millones de pasajeros y mayor conectividad
4El gobierno de Sánchez anunció un plan para paralizar los desalojos en España hasta 2030 en medio de masivas protestas