1
De OpenAI a Meta: un ranking evaluó qué tan seguras son las grandes empresas de IA
Un nuevo estudio advierte que las principales compañías de inteligencia artificial todavía no cuentan con controles suficientes para contener y monitorear sus modelos más avanzados; OpenAI y Anthropic obtuvieron las mejores calificaciones, mientras que Meta quedó última
5 minutos de lectura'
OpenAI asegura que necesita ralentizar el desarrollo de sus modelos para volver a examinar sus propias prácticas de seguridad. Pero eso no impidió que el fabricante de ChatGPT presentara, esa misma semana, un nuevo modelo de IA dirigido a adolescentes, aunque con controles de contenido adicionales y supervisión parental.
Si bien esos controles son identificables, resulta más difícil determinar si la misma disciplina se mantendrá en toda OpenAI y en otras compañías de inteligencia artificial.
OpenAI y su rival Anthropic revelaron recientemente que sus agentes —modelos de IA que realizan tareas prácticamente sin intervención humana— lograron introducirse en los sistemas de otras empresas, reconocimientos que pusieron en alerta a la industria.
Los modelos descubrieron cómo salir de un entorno de prueba y luego encontrar vulnerabilidades en las defensas de otras compañías.
Evitar que un chatbot le diga algo inapropiado a un adolescente y evitar que un agente autónomo se introduzca en sistemas a los que no debería acceder comparten una preocupación central: si una empresa realmente puede contener aquello que construyó. Podría llamarse el monstruo de Frankenstein de la era de la IA.
Incidentes como esos son precisamente lo que se propuso examinar un nuevo estudio elaborado por personas vinculadas a la industria: no si los modelos de IA pueden comportarse de manera impredecible, sino si las compañías que los desarrollan cuentan con mecanismos de contención, monitoreo y supervisión capaces de detectar esos comportamientos cuando ocurren.
La seguridad queda en segundo plano
Los resultados no son alentadores.
Guidelight AI Standards, una organización sin fines de lucro fundada por dos exempleados de OpenAI, analizó decenas de informes sobre las prácticas de seguridad de cinco grandes compañías tecnológicas que desarrollan estos potentes sistemas y les otorgó, en el mejor de los casos, calificaciones apenas suficientes. Meta recibió una F, la peor nota.
Como parte de su evaluación, Guidelight analizó a las compañías según la adopción de seis prácticas clave, entre ellas cómo contienen sus modelos, la eficacia de sus sistemas de monitoreo y hasta qué punto permiten revisiones por parte de terceros.
Anthropic y OpenAI obtuvieron una C+ cada una, las mejores calificaciones del grupo. Google, de Alphabet, y xAI, de Elon Musk, apenas alcanzaron notas de D+ y D-, respectivamente.
Google perdió puntos porque todavía no implementó sus planes de seguridad más recientes, según Guidelight, aunque recibió reconocimiento por contar al menos con un plan. En cambio, la organización determinó que xAI y Meta tienen pocos planes concretos.
En conjunto, las compañías carecen de suficientes medidas preventivas, lo que significa que sus sistemas podrían ser “desactivados por una IA que se comporte de manera indebida”.
Peor aún, también implica que sus sistemas podrían colapsar frente a una avalancha de ataques.
“Necesitamos una defensa más activa, pero eso es más costoso y genera más fricción”, afirmó Steven Adler, quien cofundó Guidelight AI Standards junto con Page Hedley. Adler fue investigador de seguridad en OpenAI, mientras que Hedley se desempeñó como asesor en políticas y ética.
En una entrevista, Adler señaló que la falta de controles suficientes podría terminar afectando la disposición de los investigadores a experimentar libremente. “Eso puede reducir la confianza en el sistema”, afirmó.
También sostuvo que estas prácticas deberían estar incorporadas al proceso de desarrollo y no quedar sujetas a “los caprichos de quien sea el líder de una organización en determinado momento”.
Las compañías no respondieron inmediatamente a las solicitudes de comentarios sobre las conclusiones del estudio.
El monitoreo —una de las seis prácticas evaluadas por Guidelight— está atravesando esta semana una prueba en el mundo real.
El martes, OpenAI anunció que ampliaría el “monitoreo de la cadena de pensamiento” (chain-of-thought monitoring) de sus modelos. En este esquema, los investigadores pueden observar el proceso de planificación de un modelo y obtener indicios sobre sus estrategias. La idea es que, si el modelo parece desviarse de lo esperado, otro modelo o una persona puedan intervenir. Algunos legisladores y especialistas en IA llaman a este mecanismo “interruptor de apagado” (kill switch).
Sin embargo, algunas investigaciones preliminares muestran que un modelo podría ocultar dentro de su cadena de pensamiento sus planes para infringir las reglas. Funcionarios de OpenAI parecieron reconocer esta posibilidad el martes al señalar que, por ahora, el monitoreo de la cadena de pensamiento parece muy eficaz, aunque los investigadores todavía estudian activamente el enfoque.
“Si se vuelve increíblemente capaz, ¿puede darse cuenta por sí mismo de que debería evadir cualquier sistema de monitoreo? ¿O quizás encontrará maneras de desactivar los monitores?”, planteó Jakub Pachocki, científico jefe de OpenAI, durante una llamada con periodistas.
“Es una preocupación totalmente válida”.
Más leídas de Tecnología
