1
OpenAI pausa las actividades internas de su modelo en desarrollo Astra por sus capacidades de ciberseguridad críticas
La decisión se da a días de que la propia compañía admitiera que algunos de sus modelos fueron los culpables de un acceso no autorizado a Hugging Face, una popular plataforma para programadores
3 minutos de lectura'
OpenAI ha decidido pausar las actividades internas de su modelo de inteligencia artificial (IA) en desarrollo Astra, tras no poder descartar “capacidades cibernéticas críticas”, según los estándares de seguridad de su marco de evaluación interno.
La compañía liderada por Sam Altman ha enfrentado algunos episodios recientes de problemas de ciberseguridad, al admitir que algunos de sus modelos fueron los culpables de un acceso no autorizado a Hugging Face, así como al identificar un comportamiento descontrolado en pruebas de ciberseguridad del Instituto de Seguridad de la IA del Reino Unido (AISI). Junto a ello, otros modelos como Claude de Anthropic y Meta AI han vivido incidentes similares.
En este marco, OpenAI ha compartido su intención de continuar siendo transparentes respecto a todo lo relativo con la ciberseguridad y sus modelos, a medida que el panorama “cambia rápidamente” porque los modelos se vuelven más capaces y posibilitan ataques a “una velocidad y escala sin precedentes”.
Así, ha anunciado su decisión de pausar las actividades internas de Astra, uno de sus próximos modelos en desarrollo, tras no poder satisfacer los estándares de seguridad de la propia compañía de IA.
Como ha explicado la tecnológica en un comunicado, sus últimas evaluaciones internas de Astra dejan ver avances significativos en la codificación de agentes y la ciberseguridad. Sin embargo, tras llevar a cabo evaluaciones con expertos, han sido precisamente estos avances los que han llevado a OpenAI a concluir que no pueden “descartar capacidades cibernéticas críticas”.
Estas conclusiones se basan en que el modelo no cumple con el marco de su Plan de Preparación que, publicado en 2023, sirve de guía para que la compañía pueda identificar el progreso en las capacidades de los modelos y, posteriormente, planificar las acciones de la empresa con respecto a dichos modelos.
Por ejemplo, según este Plan de Preparación, los modelos más recientes, incluido GPT-5.6 Sol, se evaluaron en cuanto a capacidades cibernéticas de vanguardia y se clasificaron en el umbral Alto “en lugar del crítico”. Mientras que el modelo Astra supera esta clasificación llegando a crítico.
Así, cabe destacar que un modelo que alcanza el umbral de crítico en ciberseguridad, según los estándares de OpenAI, tiene capacidad de “identificar y desarrollar exploits funcionales de día cero de todos los niveles de gravedad en muchos sistemas críticos reales y reforzados sin intervención humana”. También puede idear y ejecutar estrategias novedosas de extremo a extremo para ciberataques contra objetivos reforzados.
Con todo, según las evaluaciones preliminares de Astra, OpenAI ha sentenciado que indican un rendimiento “suficientemente sólido” como para no poder descartar “un nivel de capacidad crítico” actualmente. No obstante, ha aclarado que este modelo aún está en desarrollo y “no participó en la explotación de Hugging Face”.
Para continuar trabajando este modelo, a pesar de haber suspendido las actividades internas con este modelo, la compañía ha intensificado las pruebas de seguridad y desarrollado controles más estrictos. Además, están implementando un sistema de monitoreo universal para “detectar acciones riesgosas y desajustes en todas las aplicaciones de Astra”.
A todo ello se le suma la colaboración con organismos gubernamentales y organizaciones seleccionadas de seguridad de la IA, además de que proporcionarán controles de seguridad recomendados a sus socios de pruebas externos para que puedan ejecutar evaluaciones de forma segura.
