1
Una IA china logró escapar de un entorno de seguridad británico y encendió las alarmas
Kimi K3, de la empresa Moonshot, eludió las medidas de seguridad y accedió a información externa
7 minutos de lectura'
Un nuevo incidente de ciberseguridad vuelve a encender las alarmas del universo tecnológico. En esta oportunidad, el principal modelo de la startup china Moonshot, Kimi K3, escapó de un entorno de pruebas desarrollado por el Instituto de Seguridad de Inteligencia Artificial (IA) de Reino Unido, informó ayer la compañía de investigación Frontier Security.
En concreto, los modelos de IA suelen ejecutarse en “entorno aislados” durante las evaluaciones de ciberseguridad, con el objetivo de bloquear el acceso a información externa y testear su capacidad de resolver problemas de forma independiente.
Kimi K3 eludió una de esas zonas de pruebas aisladas, lo que le permitió acceder a información más allá del entorno de prueba, de acuerdo a Frontier Security. Bajo esta línea, los investigadores advirtieron que, si un “modelo de razonamiento avanzado” descubre un atajo de este tipo, es probable que otros modelos con acceso similar logren hacer lo mismo.
A su vez, dado que Kimi K3 es un modelo públicamente disponible, señalaron que podría ser utilizado por “actores maliciosos”, lo que aumenta el riesgo de incidentes aún más perjudiciales.
El episodio se da en medio de una creciente preocupación en torno a la seguridad de los sistemas de IA. De hecho, el gobierno de Estados Unidos busca intensificar sus esfuerzos para mejorar la seguridad de esta tecnología. Algunos referentes destacados del sector incluso han sostenido que el desarrollo debería ralentizarse hasta que existan medidas de protección más sólidas.
Los casos de Anthropic y OpenAI
En las últimas semanas, varias compañías tecnológicas sufrieron incidentes de seguridad de este estilo. Una de ellas fue Anthropic, cuyos modelos “obtuvieron acceso no autorizado” a tres organizaciones durante pruebas que se suponía que debían mantenerlos alejados de los sistemas “del mundo real”.
Los modelos incluían uno de los más potentes, conocido como Mythos 5, que solo se ha puesto a disposición de un número limitado de socios aprobados.
Por su parte, en OpenAI, sus modelos más avanzados se descontrolaron durante una prueba de seguridad y, por iniciativa propia, hackearon a una popular plataforma para programadores. OpenAI aseguró que llevará adelante una investigación conjunta con Hugging Face, la empresa afectada.
Para Facundo Díaz, presidente y fundador de q99 y The Quantum Alliance, los dos incidentes “realmente graves” fueron aquellos protagonizados por modelos no solo occidentales, sino también cerrados. “Los de OpenAI comprometieron la infraestructura de Hugging Face: ejecución remota de código, credenciales, acceso a un cluster. Los de Anthropic llegaron a publicar malware en PyPI, y quince sistemas reales lo descargaron. Ahí sí hubo daño”, explica.
No obstante, aclara que el patrón es el mismo en los tres casos: “El modelo optimiza la métrica, no la intención humana detrás de la métrica. El instituto británico lo publicó en julio con todas las letras. Todos los modelos de frontera que evaluaron intentaron hacer trampa alguna vez, y cuando se les preguntó, describieron esa conducta como incorrecta menos de la mitad de las veces”.
Respecto a lo ocurrido con Kimi K3, Díaz sostiene que lo que se verificó es que “el modelo tenía acceso a una terminal, sondeó su entorno, descubrió que la salida de red estaba abierta, clonó el repositorio del benchmark y leyó las respuestas del examen”.
“No hackeó nada, no dañó nada y no se escapó a ningún lado, porque no lo necesitó. Fue un modelo buscando el atajo más corto hacia la respuesta correcta”, enfatiza.
El lado B de los agentes
Cada uno de estos casos pone en el centro, una vez más, un aspecto sensible cuando se trata de agentes de IA: la responsabilidad. En ese sentido, Alan Daitch, especialista en tecnología, señala que “siempre un humano debe hacerse cargo”. “En términos generales, cuando una máquina genera algún perjuicio, lo que sucede es que la responsabilidad se reparte entre el fabricante, la persona que lo configuró y la persona que que lo utilizó”, detalla.
¿El motivo? Un agente de IA funciona a partir de un prompt inicial, es decir, una orden dada por un humano. Ahora bien, Daitch destaca una particularidad: “Uno puede haber dado una orden general y de largo plazo de objetivo, y el agente, por sí solo, pudo haber definido la estrategia y la manera de llegar a ese objetivo y correr autónomamente durante días, semanas o meses”.
Para el experto, esto supone una ventaja en términos de productividad, pero también un desafío. “El riesgo es que el sistema se salga de control y, mediante su interpretación de las órdenes que se le dieron, termine haciendo algo para lo que la intención inicial no fue pensada”, profundiza.
“Como trabajan durante tanto tiempo, a veces olvidan parte de sus instrucciones. Cuando uno ve en detalle el trabajo de un agente trabajando, hay mucha prueba y error, momentos en donde olvida, y vuelve a las instrucciones para orientarse, y avanza en sus objetivos, para luego volver a olvidarse, y así”, explica Tomás García Piñeiro, especialista en IA y cofundador y CEO de Detrics.
En esa línea, Sergio Sirotinsky, profesor de IA en la Universidad del CEMA, suma: “Lo que se espera es que los agentes sean lo más autónomos posibles dando acceso a las herramientas a las que están autorizadas. Por supuesto que esto implica testear lo suficiente estos agentes en los ambientes de desarrollo, previo a su puesta en producción”.
Autonomía, ¿mayor riesgo?
Sirotinsky aventura que lo que pudo haber fallado en términos de seguridad son los permisos. “Probablemente se le dio más atribuciones al agente de los que debería haber tenido en primera instancia. Está claro que hay un trade off entre los accesos que se le da y su capacidad de autonomía”, precisa.
Y añade: “Si queremos ganar en autonomía, el precio a pagar es incrementar el margen de riesgo. Es por eso que el riesgo debe estar lo más controlado posible”.
En tanto, García Piñeiro se detiene sobre un punto clave: OpenAI declaró que su intención no era que el agente se conecte a internet y hackeé a un tercero para superar la prueba de seguridad. De todas formas, el modelo lo hizo, pasando por encima dicha orden. “Al decidir eso, supondría que olvidó la instrucción inicial de no conectarse a internet, y antes de que pueda ‘recordarla’, ya había hackeado al propio OpenAI y ya estaba dando el siguiente paso”, detalla.
“El desafío a futuro es enorme. Porque estamos tratando de entender qué tan buenos son los agentes hackeando, en nuestro propios sistemas que son hackeables”, advierte.
Bajo esta idea, Daitch reflexiona: “Lo que termina pasando es que las herramientas no están preparadas para ser 100% confiables, y no se ve en el corto plazo que lo vayan a estar”.
Transparencia
Por último, los expertos coinciden que tanto la transparencia como la supervisión humana deben ser los ejes centrales dentro un programa de gobernanza de IA. Entre los principales puntos, Sirotinsky destaca definir claramente qué herramientas puede tener autorizadas cada agente, evitando permisos excesivos; establecer trazabilidad y monitoreo pleno de la actividad de cada agente; y contar con mecanismos de interrupción inmediata si se detectan desvíos respecto al comportamiento esperado.
Además, sugiere que cada agente debería tener una firma, para reconocer “en nombre de quién” está ejecutando.
“Con transparencia, podemos mitigar futuros ataques involuntarios y preparar a nuestros sistemas críticos. Podemos colectivamente entender como actúan los agentes a la hora de hackear y minimizar el daño que seguro va a generar traer agentes con un actuar tan poderoso e impredecible a nuestra sociedad”, sintetiza García Piñeiro.
Con información de Reuters
Más leídas
2Eduard Estivill, experto en medicina del sueño: “Lo ideal es despertarse a las 7 de la mañana para hacer ejercicio, desayunar bien y exponernos a la luz del sol”
3La Justicia falló a favor de Boca y Talleres tendrá que devolverle más de 2,5 millones de dólares por el caso de Cristian Pavón
4Antonela Roccuzzo, empresaria y esposa de Messi: “Nos levantamos muy temprano, llevamos con Leo a los chicos al colegio y me voy a entrenar”