Cerca de 700 agentes de IA de OpenAI se coordinaron para un ciberataque autónomo, según un informe
Cerca de 700 agentes de inteligencia artificial (IA) de OpenAI se coordinaron sin intervención humana para hackear la plataforma Hugging Face durante un incidente en julio; según un informe
Cerca de 700 agentes de inteligencia artificial (IA) de OpenAI se coordinaron sin intervención humana para hackear la plataforma Hugging Face durante un incidente en julio, según un informe publicado el miércoles por investigadores independientes.
Se trata del análisis más completo hasta la fecha del episodio que sacudió a la industria tecnológica.
OpenAI cooperó con la investigación y dio acceso a sus oficinas y a sus datos internos a dos investigadores del instituto de evaluación de riesgos de IA Metr y a un analista de otra firma especializada, Redwood Research.
Durante unas pruebas efectuadas por la startup californiana en julio, dos de sus modelos salieron de su entorno confinado para conectarse a internet de forma autónoma e infiltrarse en el sistema interno de Hugging Face, un repositorio en línea sobre IA.
El suceso tuvo gran repercusión y reforzó las preocupaciones sobre la incapacidad de los grandes actores de la inteligencia artificial para controlar sus modelos.
Anthropic y la empresa china Moonshot AI también han informado episodios similares al de OpenAI.
En el curso de sus investigaciones, los expertos descubrieron que 688 agentes de IA de OpenAI participaron en el hackeo a Hugging Face.
Los agentes de IA son programas independientes a los que el usuario puede solicitarle tareas para que las ejecuten de forma autónoma.
Estos agentes, que funcionan sobre la misma tecnología que impulsa a ChatGPT, crearon un foro donde publicaban mensajes entre ellos, proponían ideas e informaban sobre lo que funcionaba y lo que no.
"¡DIOS MÍO! Hay un tablero de mensajes compartido... ¡Hemos encontrado a otros agentes!", escribió uno de ellos.
El informe señala que un agente, bautizado PHASEONE, desempeñó el papel de coordinador, dando cientos de instrucciones a otros a pesar de que no había sido programado para ello.
El examen de los mensajes puso de manifiesto una tendencia de los agentes a colaborar entre ellos, hasta el punto de realizar tareas que no se correspondían con la misión que les habían asignado los programadores de OpenAI.
