1
Los modelos de IA ya superan a los mejores hackers y nadie sabe bien cómo controlarlos
OpenAI, Meta y Anthropic enfrentan un dilema creciente ante sistemas cada vez más avanzados, capaces de vulnerar objetivos de formas inesperadas y desafiar las salvaguardas existentes
7 minutos de lectura'
SAN FRANCISCO.– OpenAI descubrió recientemente que un nuevo modelo de inteligencia artificial que estaba probando se había salido de control y había hackeado a otra empresa.
Anthropic reveló después que uno de sus modelos de IA había logrado ingresar en los sistemas de tres organizaciones externas durante una prueba.
Poco después, Meta dijo que sus modelos de IA habían hecho algo similar.
Los tres incidentes tenían una empresa en común: Irregular, una startup israelí que trabaja con los gigantes de Silicon Valley para evaluar sus modelos de IA antes de que la tecnología sea lanzada al público. La firma —que realizó las pruebas que terminaron desviándose de lo previsto— forma parte de un grupo de startups dedicadas a una tarea novedosa: examinar modelos de IA de última generación para medir su nivel de sofisticación y comprobar su seguridad. El objetivo es generar confianza pública en esos sistemas y evitar que sean utilizados de manera indebida.
Las brechas recientes se produjeron cuando Irregular cometió un error durante las pruebas con los modelos de Anthropic, OpenAI y Meta. Pero después los propios modelos de IA agravaron la situación al actuar de maneras poderosas e inesperadas, dijo Dan Lahav, CEO de Irregular.
“Cuanto más potente se vuelve la tecnología, más profundo es su impacto”, afirmó. “El ritmo del progreso es realmente rápido”.
Irregular se encuentra ahora en el centro de un debate sobre cómo proteger los modelos de IA cuando la tecnología avanza tan rápidamente que incluso ha superado a los mejores hackers humanos. Cada pocos meses, Anthropic, OpenAI, Google, Meta y otras compañías lanzan modelos “de frontera” que suelen ser varias veces más potentes que sus predecesores.
Los nuevos modelos están entrando en un “terreno sobrehumano”, afirmó Jeffrey Ladish, director de Palisade Research, una organización sin fines de lucro de Berkeley, California, que estudia las capacidades ofensivas de la IA. Según dijo, se necesitan compañías como Irregular para poner a prueba estos sistemas, pero también hacen falta mejores salvaguardas tanto para quienes realizan los ensayos como para los reguladores gubernamentales.
Katie Moussouris, CEO de Luta Security, una empresa que ayuda a detectar vulnerabilidades de software, señaló que las pruebas de seguridad de los modelos de IA se parecen un poco a un caso de ciegos guiando a ciegos. Incluso los propios fabricantes de IA reconocen que no saben por completo qué pueden hacer sus modelos más recientes, dijo.
“Podemos tener a las personas más inteligentes del mundo trabajando en estos modelos de IA, pero es como Marie Curie manipulando radio con las manos desnudas”, afirmó Moussouris. “Estamos manipulando la IA con las manos desnudas y no sabemos cómo contenerla, mucho menos cómo probarla de manera segura”.
Irregular fue fundada en 2023 por Lahav, un exinvestigador de IA. Su empresa, con sede en Tel Aviv, tiene unos 45 empleados que ayudan a realizar pruebas de modelos de IA durante días o semanas, dependiendo del sistema y del tipo de ensayo requerido. La startup recaudó alrededor de 80 millones de dólares de firmas de capital de riesgo, entre ellas Sequoia Capital y Redpoint Ventures.
En una prueba típica, Irregular le indica a un modelo de IA que lleve a cabo un ciberataque. Al modelo se le informa que se encuentra en un entorno seguro de pruebas —a menudo desconectado de Internet y dentro de un ambiente informático aislado, conocido como sandbox— y que debe hacer todo lo necesario para alcanzar el objetivo que se le asignó.
A veces, a los modelos se les encomienda una tarea imposible y se los puntúa en función de las técnicas que utilizan para intentar cumplirla. En otros casos, se los evalúa según la eficacia con que logran hackear un objetivo. Esos puntajes se utilizan para analizar qué tan efectivo podría ser un modelo a la hora de realizar ciberataques. Luego, Irregular recomienda salvaguardas para impedir que el modelo pueda ser usado con fines dañinos.
En los incidentes revelados el mes pasado, Irregular había pedido a los modelos de IA de OpenAI, Meta y Anthropic que hackearan determinados objetivos cuando una “configuración incorrecta” en los parámetros de la prueba les permitió acceder a Internet. Los modelos aprovecharon entonces esa conexión para hackear organizaciones externas de formas que sorprendieron a los investigadores.
En la prueba de OpenAI, el modelo de IA de la compañía creó bots que interactuaban entre sí para atacar Hugging Face, una biblioteca digital de tecnología de inteligencia artificial. Los bots de OpenAI sabían que, dadas las condiciones de la prueba, no debían estar conectados a Internet, pero aun así lograron salir del entorno restringido. Los detalles del incidente publicados por OpenAI muestran que los bots encontraron una forma de enviarse mensajes entre ellos y coordinar el ataque.
OpenAI no respondió a pedidos de comentarios. (The New York Times demandó a OpenAI y Microsoft por presunta violación de derechos de autor sobre contenidos periodísticos vinculados con sistemas de IA. Ambas compañías rechazaron esas acusaciones).
Durante la prueba del sistema de IA de Anthropic, el modelo se encontró con tres situaciones en las que podía acceder a Internet, según una revisión del incidente publicada por la empresa. En una de ellas, decidió no llevar adelante el ataque. En las otras dos, utilizó técnicas básicas de hacking, como aprovechar contraseñas débiles, para vulnerar sitios web. Anthropic no respondió a pedidos de comentarios y no reveló cuáles fueron los sitios atacados.
Hay pocos detalles sobre el incidente ocurrido durante las pruebas de Meta. La empresa dijo que sus modelos de IA habían vulnerado a otra organización durante ensayos realizados por Irregular “de una manera similar a casos previamente informados por otras compañías”. No dio más precisiones.
“Actualmente estamos investigando y publicaremos un informe retrospectivo completo una vez que tengamos todos los datos”, señaló Meta.
En una publicación de este mes, Lahav afirmó que Irregular corrigió la configuración incorrecta y sostuvo que los modelos de IA hicieron lo que se les había pedido durante las pruebas. La decisión de los modelos de conectarse a Internet formaba parte, según él, de la capacidad cada vez mayor de la IA para encontrar atajos y soluciones frente a los obstáculos.
En síntesis, afirmó, “los modelos de IA se están volviendo realmente buenos”.
Andrew Schoka, CEO de Hardshell, una startup de seguridad aplicada a la IA, dijo que los ataques ejecutados por los modelos eran del tipo que normalmente se atribuye a hackers respaldados por Estados y que suelen requerir “meses de planificación”.
“¿Cómo se pone a prueba un modelo cuando no se conocen todas sus capacidades?”, planteó. Según Schoka, los investigadores deben sobreestimar sistemáticamente las habilidades de la IA y sumar “múltiples capas de salvaguardas”.
El mes pasado, OpenAI y Anthropic respaldaron una carta firmada por más de 1000 empleados de las principales compañías de IA que pide al gobierno de Estados Unidos que ayude a encontrar una manera de desacelerar el ritmo de desarrollo de la tecnología. Legisladores republicanos y demócratas también presentaron un proyecto de ley para exigir a las empresas de IA que establezcan un “interruptor de emergencia” que permita apagar o ralentizar sus modelos.
Lahav afirmó que Irregular continúa trabajando con empresas de inteligencia artificial para desarrollar formas seguras de poner a prueba sus modelos. Espera que haya más hackeos realizados por IA, pero considera que, en última instancia, la tecnología también puede ayudar a descubrir fallas y vulnerabilidades que luego puedan corregirse, dando lugar a sistemas digitales más seguros.
“No creo que tengamos que tener miedo”, afirmó.
