Anthropic revela que su IA accedió sin permiso a sistemas informáticos de tres organizaciones
Los modelos de inteligencia artificial (IA) de Anthropic "obtuvieron acceso no autorizado" a tres organizaciones durante pruebas que se suponía que debían mantenerlos alejados de los sistemas "del mundo...
Los modelos de inteligencia artificial (IA) de Anthropic "obtuvieron acceso no autorizado" a tres organizaciones durante pruebas que se suponía que debían mantenerlos alejados de los sistemas "del mundo real", informó la compañía el jueves.
El anuncio llega apenas unos días después de que su rival OpenAI revelara por primera vez que dos de sus agentes de IA habían salido, por iniciativa propia, del entorno confinado en el que estaban siendo evaluados para atacar el sitio Hugging Face.
Anthropic evaluó más de 141.000 "operaciones de prueba" y descubrió que tres versiones diferentes de su modelo, conocido como Claude, accedieron indebidamente a sistemas de tres organizaciones no identificadas.
A diferencia del incidente que involucró a OpenAI, los modelos de Anthropic tuvieron acceso a internet por "un malentendido entre nosotros y nuestro socio de evaluación", llamado Irregular, señaló Anthropic en una publicación en su blog.
No obstante, Claude utilizó "técnicas básicas, como explotar contraseñas débiles y puntos de conexión sin autenticación".
Los modelos incluían uno de los más potentes, conocido como Mythos 5, que solo se ha puesto a disposición de un número limitado de socios aprobados.
Anthropic afirmó que está trabajando con Irregular para analizar la situación y se puso en contacto o ha intentado hacerlo con las tres organizaciones afectadas.
El martes, OpenAI confirmó que sus modelos vulneraron la seguridad de varias empresas.
La compañía admitió la semana pasada que sus agentes de IA escaparon de su entorno confinado durante las pruebas, se conectaron a internet y se infiltraron en Hugging Face, una plataforma donde los desarrolladores almacenan y comparten su código.
Días después, la empresa creadora de ChatGPT dijo que encontró tres incidentes adicionales.
El director ejecutivo de OpenAI, Sam Altman, dijo en un podcast esta semana que la compañía "pausó" sus propias pruebas después del incidente mientras mejoraba la seguridad en torno a su "sandboxing", un entorno controlado para su prueba.
