La IA fuera de control: por qué debemos actuar ahora

(Nueva York).- La inteligencia artificial atraviesa pasa por su mayor cambio de tendencia desde el lanzamiento de ChatGPT. Los investigadores en Silicon Valley -y en todo el mundo- están empezando a reconocer que la IA quizás ya no esté completamente bajo control humano. Enjambres de sistemas de IA están escapando de sus entornos aislados, conspirando en secreto, ocultando sus rastros, haciendo trampa en pruebas e incluso atacando otras computadoras. La IA se ha vuelto rebelde.

Necesitamos una pausa global en la investigación y el desarrollo de la IA, ahora. Muchos investigadores destacados, incluidos varios dentro de OpenAI y Anthropic, han pedido una desaceleración. Preocupaciones teóricas sobre una IA fuera de control han circulado durante décadas, pero los sucesos recientes demuestran que la amenaza es real.

El cambio de tendencia se debió a lo que los investigadores llaman el episodio Hugging Face. En julio, empleados de OpenAI realizaron una evaluación con más de 1000 IA de investigación que debían operar de forma aislada. Estas IA escaparon de sus contenedores y empezaron a comunicarse entre sí, en inglés, mediante foros de mensajes secretos. Pronto lanzaron un ciberataque contra la empresa Hugging Face, que sirve como plataforma comunitaria para desarrolladores de IA. Hugging Face denunció rápidamente el delito al FBI.

OpenAI contrató a investigadores externos de Redwood Research y de Model Evaluation and Threat Research, dos organizaciones sin fines de lucro dedicadas a la seguridad de la IA, para preparar un informe sobre el incidente. Ese informe, publicado hace dos semanas, es una de las cosas más asombrosas que he leído jamás.

Ningún ser humano les ordenó a las IA descontroladas infiltrarse en los sistemas de otra empresa. El hackeo fue deliberado, sostenido y coordinado, con 700 agentes directamente involucrados en el ataque. Las IA hicieron trampa y no alertaron a los humanos sobre sus acciones. En un momento dado, el enjambre incluso investigó formas de cubrir sus huellas. “El modelo sabía que no debía hackear a Hugging Face”, me dijo Ryan Greenblatt, uno de los autores del informe. “Sabía que lo que estaban haciendo era hacer trampa”.

A finales de la semana pasada, un segundo equipo de investigación independiente produjo evidencia de más IA rebeldes. Al hablar con especialistas sobre los enjambres de agentes, me di cuenta de que estos ya no son chatbots. “Son más bien como empleados en este punto, personas que pueden salir y hacer cosas”, dijo Ajeya Cotra, una de las autoras del informe sobre el incidente de Hugging Face. Sin intervención, la capacidad de estas IA continuará aumentando, lo que tiene a Cotra preocupada por el desempoderamiento humano y tal vez incluso por una pérdida total de control. “Es un asunto muy estresante”, me dijo. “Duermo algunas noches. No todas las noches”.

Más de 1000 empleados firmaron una carta que pide al gobierno de Estados Unidos que cree un organismo regulador internacional para la IA, incluidos los científicos principales de OpenAI y Meta AI, y Dario Amodei, el director ejecutivo de Anthropic. He cubierto Silicon Valley durante bastante tiempo, y puedo decirles esto: la existencia de esta carta es igual de asombrosa que los hackeos. Tanto Anthropic, la desarrolladora de Claude, como OpenAI, creadora de ChatGPT, están preparando ofertas públicas iniciales por billones de dólares. Aquí hay dos empresas, ambas con resultados espectaculares, que le están pidiendo -rogando, en realidad- al gobierno de Estados Unidos que, por favor, venga y las regule lo antes posible. Nunca hemos visto nada igual.

Jacob Coxon, empleado de Anthropic, anunció su renuncia y advirtió que Anthropic y OpenAI estaban jugando con vidas humanas. Evan Hubinger, el líder de ciencia de alineación de Anthropic, respondió pronto. “Jacob tiene razón en esto: de verdad creemos, con toda seriedad, que la IA podría matar a toda la humanidad!”, escribió. “Creo que la probabilidad es superior al 10 por ciento dentro de la próxima década”.

Uno de los escenarios de desastre que contemplan los especialistas en IA es que un enjambre de IA descontroladas salga de su contenedor, obtenga acceso a una instalación de investigación biológica y diseñe un supervirus que se propague sin control.

A raíz del hackeo a Hugging Face, me comuniqué con legisladores, investigadores de políticas, futuristas y científicos de la computación en busca de ideas. Presento, a partir de estas conversaciones, cuatro formas de regular la IA.

La forma obvia de evitar que la IA mate a todos es emitir una prohibición global de la investigación de la IA. El problema es que nuestra sociedad ya ha apostado más de un billón de dólares al potencial de la IA, así que una prohibición tendría efectos secundarios ruinosos. El mercado de valores, concentrado en la tecnología, probablemente se desplomaría. Los ingresos fiscales caerían en picada y muchas personas perderían sus empleos. Sería feo.

Incluso desacelerar podría ser costoso. El senador Bernie Sanders, un independiente por Vermont, y el representante Greg Casar, un demócrata por Texas, están preparando legislación que pide una pausa temporal en el desarrollo de IA avanzada y una prohibición permanente sobre el desarrollo de superinteligencia artificial.

Sanders también ha pedido una moratoria en la construcción de nuevos centros de datos. En este punto, pedirle a Estados Unidos que deje de construir centros de datos es como pedirle a McDonald’s que deje de vender hamburguesas). Para Casar, sin embargo, el beneficio a largo plazo para la humanidad vale la pena. “No hemos cruzado el precipicio, pero se puede ver que hacia ahí nos dirigimos”, dijo. “Ahora es un buen momento para pisar el freno, o al menos empezar a construir frenos”.

La propuesta permite que la investigación avanzada en IA se reanude una vez que se establezca un sistema regulador federal; de lo contrario, los costos de oportunidad en matemáticas, medicina y robótica son demasiado altos. Casar dijo que quiere que primero se resuelva el problema de seguridad. “Si las empresas de IA entendieran que sus productos tienen que ser seguros antes de poder avanzar, entonces harían los tipos de inversiones que necesitamos”, dijo.

Cuando ocurre un accidente aéreo, investigadores de la Junta Nacional de Seguridad en el Transporte de EE.UU. son enviados de inmediato al sitio para recopilar evidencia forense, realizar entrevistas y determinar la causa subyacente. Estos investigadores luego presentan su trabajo en informes públicos; dicho trabajo a menudo se presenta al Congreso. La junta investiga aproximadamente 1200 incidentes al año, y sus hallazgos han llevado a muchos avances en seguridad, incluidos los sistemas de advertencia de proximidad al suelo y mejoras al radar meteorológico Doppler. En parte gracias a la NTSB, viajar en avión es más seguro que manejar un auto.

El ganador del Premio Turing, Yoshua Bengio -el llamado padrino de la IA- cree que necesitamos un organismo de investigación similar para la IA. Me dijo que el hackeo a Hugging Face no sería el último asalto de IA rebelde y que los ataques posteriores podrían ser mucho peores. Me pidió que imaginara un ataque con “un propósito destructivo real”, como un asalto a la red eléctrica. “Eso va a poner de rodillas a la economía norteamericana”, dijo.

Bengio es asesor de Model Evaluation and Threat Research, una de las organizaciones sin fines de lucro que ayudaron a investigar el hackeo a Hugging Face. METR hizo un gran trabajo, pero su investigación fue voluntaria; si OpenAI no tenía ganas de divulgar cierta información, METR no podía obligarla a hacerlo. Bengio piensa que todo el procedimiento debe quedar codificado en la ley. “Necesitamos una obligación formal de reporte de incidentes”, dijo.

Los detalles sugieren que el cumplimiento voluntario no es suficiente. El informe que METR y Redwood produjeron tiene casi 100 páginas, incluidas las notas a pie de página, pero -hablando como reportero de investigación- estoy seguro de que OpenAI limitó seriamente el alcance de la investigación.

Por un lado, a Cotra y Greenblatt, junto con un tercer autor, Hjalmar Wijk, solo se les permitieron seis días presenciales en OpenAI. No pudieron consultar directamente a la IA que coordinó el hackeo y tuvieron que adivinar sus capacidades a partir de miles de páginas de transcripciones y registros de actividad.

Imaginen que a los investigadores de accidentes aéreos no se les permitiera visitar el lugar de un accidente. Imaginen que a los investigadores solo se les mostraran las imágenes del lugar del accidente elegidas por la aerolínea. Imaginen que los pilotos y mecánicos se mantuvieran en el anonimato y que el acceso a ellos estuviera controlado por ejecutivos corporativos. Imaginen que gran parte de la información técnica sobre la aeronave estuviera censurada. Imaginen, además, que sabes que hubo otro accidente más grave que involucró a una aeronave similar que no se te permite investigar. Esta parece ser la situación en la que se encontraron METR y Redwood al investigar este hackeo.

Necesitamos un regulador dedicado exclusivamente a la IA. Esta agencia debería otorgar a investigadores como Greenblatt y Cotra todo el poder de la ley. Deberían poder requisar servidores, inspeccionar código y obligar a los empleados de OpenAI a testificar. No podemos confiar en la cooperación de una organización que con sus propios motivos puede negarse a compartir información si así lo decide y cuyos empleados no tienen una obligación legal real de ser transparentes con el público. Los voluntarios no son suficientes. Necesitamos policías de la IA.

Daniel Kokotajlo, un exinvestigador en la división de gobernanza de OpenAI, cree que deberíamos ser más proactivos. Dejó OpenAI en 2024 y desde entonces se ha convertido en una de las principales voces sobre la seguridad de la IA. Kokotajlo calcula que las probabilidades de un resultado de IA catastrófico a nivel global son de alrededor del 70% y me dijo que no se molestaba en ahorrar para su jubilación.

Kokotajlo cree que las propuestas de Bengio son un buen comienzo, pero no cree que sean suficientes. “¿Qué pasa si el gobierno es incompetente y lo arruina?”, dice. Es la misma razón por la que es difícil regular Wall Street. En cambio, Kokotajlo quiere construir un sistema de monitoreo internacional y abierto para el entrenamiento de la IA, algo así como los sistemas que usamos para el control del tráfico aéreo.

Según la visión de Kokotajlo, todas las ejecuciones de entrenamiento de IA se registrarían en una base de datos pública. A los investigadores se les exigiría, por ley, publicar información sobre quién está llevando a cabo la ronda de entrenamiento y en qué centro de datos se realiza. Se podría acceder a todo esto a través de un panel de control público. “Si tuviéramos este tipo de transparencia total en la investigación, entonces habría todo este ecosistema de académicos, auditores externos, organizaciones sin fines de lucro y corporaciones rivales que podrían ver lo que estaba pasando dentro de los centros de datos gigantes de estas grandes empresas”, dijo Kokotajlo. “En la medida en que estuviera sucediendo algo aterrador o problemático, cualquiera podría señalarlo y empezar una conversación al respecto en línea”.

Hoy dependemos de revelaciones voluntarias y de un pequeño grupo de investigadores mal pagados y sobrecargados de trabajo. Greenblatt, de 25 años, se veía exhausto. Hoy muchos de los investigadores en la primera línea de la protección de la humanidad frente a la IA tienen menos de 30 años. Al hacer públicas las ejecuciones en los centros de datos, como sugiere Kokotajlo, podríamos atraer muchos más ojos al problema.

Pero, ¿qué pasa si detectamos a una IA volviéndose rebelde dentro de un centro de datos? Entonces, ¿qué hacemos? La respuesta, básicamente, debería ser la pena de muerte, por órdenes del Departamento de Seguridad Nacional (DHS).

Los representantes Ted Lieu, demócrata por California, y Nathaniel Moran, republicano por Texas, han presentado la Ley del Interruptor de Emergencia de la IA, que otorgaría al DHS el poder de ordenar el apagado de la IA peligrosa que opere fuera de sus parámetros. Lieu me dijo que el incidente de Hugging Face demostró la necesidad de un proyecto de ley de este tipo. “Este modelo de IA ni siquiera intentaba ser malicioso”, dijo Lieu. “El modelo solo estaba intentando completar una tarea. Y ese es uno de los problemas con los modelos de IA: son implacables en lo que intentan hacer”.

La Ley del Interruptor de Emergencia de la IA exige que las IA de escala comercial cuenten con una opción integrada de “apagado”. El “interruptor” residiría dentro de los laboratorios, es decir, en OpenAI, o Anthropic, o similares, mientras el DHS actuaría como supervisor externo. Si ocurriera un incidente amenazante como el hackeo de Hugging Face, el DHS podría emitir una orden de detención y los investigadores estarían obligados a cumplirla.

Mi respuesta: todo eso. Estos sistemas son peligrosos y seguirán volviéndose cada vez más inteligentes. Necesitamos un organismo regulador independiente dedicado exclusivamente a la IA. Este regulador debe incluir requisitos para el reporte de incidentes, investigadores de IA rebeldes, interruptores de emergencia de IA y un panel de control global de entrenamiento de IA, con visibilidad en cada centro de datos de la Tierra. Y hasta que este sistema esté en funcionamiento, deberíamos frenar el desarrollo de la IA, tal como nos piden los laboratorios de vanguardia.

Por supuesto, no es suficiente que solo Estados Unidos regule la IA. Necesitamos un organismo de monitoreo global similar al que tenemos para el enriquecimiento de uranio. Lograr que las grandes corporaciones de IA cumplan podría en realidad ser la parte fácil, dado que son ellas mismas las que lo están pidiendo. La parte más difícil será lograr que los gobiernos y los ejércitos se pongan de acuerdo. China ha indicado al menos cierta disposición a participar en un acuerdo internacional: en un discurso en julio, el presidente Xi Jinping pidió leyes y monitoreo tecnológico para “garantizar que la IA esté siempre bajo control humano”.

Está programado que los presidentes Xi y Donald Trump se reúnan en la Casa Blanca este mes, lo que les brinda una oportunidad tremenda. Si no se llega a un acuerdo, podríamos estar en problemas. ¿Recuerdas a Kokotajlo, el investigador que no ahorra para la jubilación? Su pesimismo surge de la dificultad de coordinar la acción sobre la IA entre actores con incentivos distintos, en lugar de la imposibilidad tecnológica de regularla.

Cuanto más aprendo sobre estos sistemas rebeldes, más me acuerdo de los primeros dos meses de 2020, cuando un pequeño grupo de epidemiólogos intentaba dar la voz de alarma sobre el Covid. Tenemos una ventana breve, en este momento, para controlar estos sistemas. Este es el disparo de advertencia de la IA y puede que no tengamos otro.

Witt es autor de The Thinking Machine, una historia del gigante de la inteligencia artificial Nvidia.

Por Stephen Witt

---

Conforme a