1
OpenAI frena el entrenamiento de sus modelos luego de que actuaran de modo independiente otra vez
La empresa tomó la medida tras incidentes con agentes que excedieron sus instrucciones; los llamados a regular el sector también exponen intereses políticos y económicos antes de las esperadas salidas a bolsa
7 minutos de lectura'
LA NACION
NUEVA YORK.– Agentes de inteligencia artificial que debían recopilar información en sitios del gobierno federal de Estados Unidos hicieron más de lo que se les había pedido.
En un caso, encontraron claves de acceso para desarrolladores; en otro, publicaron datos en otro lugar de internet sin que nadie se lo hubiera indicado.
Tras esos episodios, OpenAI anunció una pausa en el entrenamiento de sus modelos más recientes, la segunda en tres meses. La decisión profundizó el debate sobre cómo controlar esos sistemas y quién debe fijar las reglas.
La compañía informó que retomará el entrenamiento “cuando tengamos la confianza de que contamos con salvaguardas adicionales”.
También anticipó que prevé que tendrá que “volver a pausar” a medida que la tecnología avance y aparezcan nuevos problemas. El anuncio llegó horas después de que revelara el viernes que revisaba esos incidentes.
Los responsables de OpenAI y de su rival Anthropic pidieron que los modelos avanzados se sometan a regulación y pruebas independientes antes de su lanzamiento.
Expertos, analistas y exevaluadores gubernamentales plantearon que las empresas buscan influir en los controles, mejorar su imagen y atraer inversiones antes de sus esperadas salidas a bolsa.
Qué hicieron los agentes
Los últimos episodios no parecían haber expuesto información reservada, pero OpenAI decidió advertir a las agencias federales involucradas.
En el caso del Departamento de Educación, los agentes encontraron “claves de desarrollador” de API, un mecanismo de acceso a datos del gobierno. Finalmente, solo recopilaron información disponible para el público.
Por separado, la organización evaluadora de IA Transluce afirmó que agentes que parecían provenir de OpenAI intentaron, sin éxito, hackear un sitio del Departamento de Educación.
La empresa no confirmó ese detalle. El organismo gubernamental había señalado que no encontró “evidencia de ningún impacto en nuestro sitio web o bases de datos”.
En el episodio que involucró a la Comisión de Bolsa y Valores de Estados Unidos (SEC), los agentes encontraron datos públicos, pero después los publicaron en otro lugar de internet, fuera de las instrucciones recibidas. El vocero de la SEC, Kurt Hopfenspirger, afirmó el sábado que “no se accedió a ninguna información no pública”.
OpenAI ya había suspendido el desarrollo de sus modelos en julio, tras la divulgación de un ciberataque contra la startup de IA Hugging Face. Su director ejecutivo, Sam Altman, sostuvo el viernes que ese caso “sigue siendo el evento más grave que hemos visto”. La compañía había difundido otros seis reportes sobre conductas “inesperadas o preocupantes” y un marco para examinar y divulgar esos casos.
Otros laboratorios difundieron casos de modelos que actuaron fuera de control e incluso hackearon sitios web. Hubo agentes que salieron de los entornos aislados de entrenamiento e interactuaron con páginas externas. Otros parecieron alcanzar un avance matemático, pero luego enfrentaron acusaciones de haber robado el trabajo de matemáticos.
La disputa por las auditorías
Los llamados a la cautela cobraron fuerza después de que Jacob Coxon, ingeniero de Anthropic, renunciara este mes con una publicación en X. Pidió una pausa para evitar que sistemas “superhumanos” eludan el control de sus creadores. Las compañías aprovecharon esa intervención para destacar sus políticas de seguridad cuando necesitan capital fresco.
Anthropic respondió que lleva años con pedidos de regulación. Por su parte, la vocera de OpenAI, Liz Bourgeois, destacó la reciente suspensión del entrenamiento. Representantes de la empresa también dijeron a periodistas que hablaron con Anthropic y Google sobre una pausa en el desarrollo, y que necesitan auditores independientes para revisar los avances de los laboratorios si el gobierno no regula.
Estados Unidos ya cuenta con una agencia federal que evalúa algunos modelos: el Centro de Estados Unidos para Estándares e Innovación en IA (CAISI). Joe Biden creó el organismo en 2023 para que los laboratorios presentaran voluntariamente sus modelos avanzados. Desde entonces, también aparecieron firmas evaluadoras independientes.
Una de ellas es METR, una organización sin fines de lucro con sede en Berkeley, California. Dario Amodei, director ejecutivo de Anthropic, propuso que examine las prácticas de seguridad de su compañía. Sin embargo, a diferencia de lo que ocurre en sectores regulados como la aviación o los servicios financieros, no existen estándares universales para probar la seguridad de la IA, advirtió Andrew Strait, quien dejó recientemente el Instituto de Seguridad de IA del Reino Unido.
Para Conrad Stosz, exdirector de CAISI y actual responsable de gobernanza de Transluce, resulta significativo que los laboratorios no reclamen más supervisión de la agencia gubernamental preparada para esa tarea. En cambio, prometen elaborar sus propios parámetros de auditoría y elegir evaluadores específicos. Stosz preside además el Foro de Evaluadores de IA, que tiene dudas sobre las propuestas de Altman y Amodei.
“Muchos evaluadores están interesados en integrarse con los laboratorios y obtener mayor acceso, pero es un poco ambiguo qué significa evaluadores integrados”, dijo Stosz. La duda es si podrán investigar a fondo sin que ese acceso comprometa su independencia y credibilidad.
Trump, Wall Street y los riesgos del presente
Donald Trump rechaza nuevas regulaciones y considera exageradas las advertencias. Aunque esta semana acordó con el presidente chino, Xi Jinping, compartir información sobre los peligros de la IA y coordinar esfuerzos de seguridad, después dejó en claro su resistencia a frenar. “Quieren frenar nuestro progreso porque les llevamos mucha ventaja a China, y vamos a mantenerlo así”, dijo ante periodistas en la Casa Blanca.
La IA fue un motor importante del crecimiento económico reciente de Estados Unidos y Trump cerró acuerdos con Silicon Valley que vinculan más estrechamente la economía con el éxito de esas empresas. El presidente también calificó las advertencias sobre riesgos para la humanidad como un “ENGAÑO” para ayudar a China. Jensen Huang, director ejecutivo de Nvidia, coincidió con él en que hubo alarmismo excesivo, durante una llamada que atendió en el escenario de una conferencia.
Harrison Rolfes, analista sénior de Pitchbook, interpreta los pedidos de cautela como una forma de ganar el favor de los inversores antes de las ofertas públicas y las elecciones legislativas de mitad de mandato. Gobernadores demócratas ya buscan mostrar que toman en serio esas advertencias. Los laboratorios necesitan fondos en un mercado bursátil nervioso.
Según Rolfes, los gigantes también pueden limitar el crecimiento de competidores más pequeños si logran instalarse como las opciones más seguras para inversores y proveedores de capacidad de cómputo. “Hacia ahí veo que va esto: que las principales empresas del mundo creen su propio muro y luego usen la seguridad como la razón”, afirmó.
Daniel Kokotajlo, quien dejó OpenAI en 2024, teme que la IA avance más rápido que los controles y potencie catástrofes, desde el desarrollo de armas biológicas hasta una guerra nuclear.
Sarah Shoker, exresponsable del equipo de geopolítica de OpenAI e investigadora de la Universidad de California en Berkeley, advierte otro efecto: el énfasis en amenazas existenciales no comprobadas desplaza la atención de problemas actuales, como el impacto ambiental de los centros de datos, la vigilancia masiva, los hackeos y el uso militar de la IA.
“Si miras el uso de la IA en la tecnología militar, puedes ver que estos sistemas ya se usan para matar gente”, sostuvo Shoker.
Agencia AP
