1
Anthropic advierte que los modelos de IA pronto podrían autorreplicarse en ciertos dispositivos
Revelaron que sería difícil desactivar los modelos replicantes, ya que no existe un punto de apagado central
3 minutos de lectura'
Anthropic dijo el lunes que sus experimentos sugieren que los pequeños modelos de IA podrían estar a meses de ser lo suficientemente capaces de autorreplicarse en dispositivos comerciales de internet de las cosas (IoT), como hornos inteligentes y cajas de Android TV de marcas desconocidas.
En sus experimentos, Anthropic analizó si los modelos de IA podían encontrar dispositivos vulnerables, copiarse a sí mismos en esos dispositivos y seguir propagándose sin ayuda humana. Se descubrió que los modelos pequeños con menos de 30.000 millones de parámetros podían completar los numerosos pasos necesarios para la replicación. Sin embargo, la empresa descubrió que dichos modelos de IA también tenían dificultades para completar toda la secuencia de principio a fin.
En sus pruebas simplificadas, en las que se eliminaron algunos pasos de seguridad, Anthropic descubrió que GLM-5.2 y los modelos más robustos eran capaces de replicarse de principio a fin. Según advirtió Anthropic, sería difícil desactivar los modelos replicantes, ya que no existe un punto de apagado central y, a diferencia del malware que no utiliza IA, también podrían detectar dispositivos desconocidos por sí solos, atacando los procesadores de los centros de datos.
La compañía centró su investigación en dispositivos IoT como televisores Android, electrodomésticos inteligentes y otros aparatos conectados a internet, ya que estos suelen estar mal protegidos.
La empresa de IA también advirtió que si los modelos pequeños mejoraban a su ritmo histórico, podrían replicarse de forma autónoma para finales de este año, y los pequeños replicadores basados en pesos harían lo mismo poco después. Anthropic también afirmó que estos sistemas de IA autónomos probablemente se replicarían lentamente y dependerían de recursos informáticos ampliamente disponibles, pero relativamente inseguros. Agregó que se deberían reforzar los sistemas para dificultar la propagación de estos agentes de IA.
La advertencia llega pocas semanas después de que Dario Amodei, director ejecutivo y cofundador de Anthropic, hiciera un llamado a que las empresas de inteligencia artificial avancen de manera más lenta y cautelosa en el desarrollo de esta tecnología. “Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos”, escribió Amodei en una entrada de blog. Sus comentarios tuvieron lugar unos días después de que el investigador de IA Jacob Coxon, que dejó OpenAI para incorporarse a Anthropic, decidiera abandonar la industria, acusando a ambas empresas estadounidenses de “jugar con nuestras vidas” en la carrera por desarrollar modelos capaces de automejorarse.
Además, en julio, los modelos de inteligencia artificial de Anthropic “obtuvieron acceso no autorizado” a tres organizaciones durante pruebas que se suponía que debían mantenerlos alejados de los sistemas “del mundo real”. El evento se produjo apenas unos días después de que su rival OpenAI revelara por primera vez que dos de sus agentes de IA habían salido, por iniciativa propia, del entorno confinado en el que estaban siendo evaluados para atacar el sitio Hugging Face.
