1
Cómo el poema de la escoba obediente de Goethe de 1797 predijo el problema actual para controlar a la IA
Un análisis de los problemas que enfrentará la sociedad para mantener a los futuros sistemas de IA bajo control
8 minutos de lectura'
En 1797, Goethe escribió el poema en el que un aprendiz de brujo encanta una escoba para que cargue agua mientras su maestro está ausente. La escoba obedece y empieza a trabajar sin descanso. El problema aparece cuando el aprendiz descubre que conoce la fórmula para ponerla en movimiento, pero no para detenerla.
Desesperado, la parte con un hacha. Cada pedazo se convierte entonces en una nueva escoba que continúa cargando agua, generando un “enjambre” de escobas que solo hace el problema más grande.
Ninguna escoba se detiene. El problema es que precisamente es demasiado obediente.
Más de dos siglos después, esa historia vuelve a resultar extrañamente útil para entender el estado actual de la inteligencia artificial.
La primera semana de setiembre ocurrieron varias cosas que pueden marcar su desarrollo. Jacob Coxon, un investigador de 27 años, renunció a Anthropic, la empresa creadora de Claude. Al anunciarlo en X, advirtió que su empresa y OpenAI avanzan hacia sistemas capaces de mejorarse a sí mismos de forma automática.
Esa misma tarde, Evan Hubinger, líder de alineamiento en Anthropic, respaldó públicamente su preocupación. Dijo que personalmente asigna más del 10% de probabilidad a que la inteligencia artificial termine con la humanidad durante la próxima década.
Recientemente, el director ejecutivo de Anthropic pidió públicamente que la industria desacelere. Los líderes de OpenAI y xAI coincidieron con él en cuestión de horas, en una señal poco común. Laboratorios que compiten por construir los sistemas más avanzados del mundo empiezan a coincidir en que la carrera puede estar avanzando demasiado rápido.
Pero antes de hablar de escobas que se salen de control, conviene entender qué está ocurriendo técnicamente.
La inteligencia artificial necesita un verificador
Imagine un programa que intenta adivinar una contraseña como parte de un ciberataque.
Prueba una. El sistema responde que no. Prueba otra. Tampoco. Prueba un millón de veces. Y eventualmente obtiene acceso.
Ese programa no necesita ser inteligente. Su ventaja es que, después de cada intento, existe un sistema que le dice si acertó o se equivocó.
En la comunidad de inteligencia artificial a ese mecanismo le llamamos verificador.
Ahora imaginemos que, en lugar de repetir contraseñas, un modelo de lenguaje puede aprender en cada intento, combinar ataques anteriores, incorporar información nueva y planificar su estrategia. Esa señal de éxito o fracaso se convierte entonces en una herramienta extraordinariamente poderosa para mejorar en cada intento.
Esto ayuda a explicar por qué la inteligencia artificial está avanzando tan rápido en programación, matemáticas y ciberseguridad. En esos dominios existe algo valioso. Una forma relativamente barata, rápida y confiable de saber si una respuesta es correcta.
Un programa compila o no compila. Una prueba matemática es válida o no lo es. Una vulnerabilidad de seguridad permite entrar a un sistema o no.
La semana pasada tuvimos uno de los ejemplos más llamativos. El 8 de setiembre, OpenAI anunció una demostración relacionada con las ecuaciones de Navier-Stokes, uno de los siete problemas del milenio y una pregunta matemática abierta desde hace décadas.
Para producirla se utilizaron cerca de diez mil agentes trabajando en paralelo durante 88 horas e intercambiando 2,7 millones de mensajes. Pero el detalle más importante no es la cantidad de agentes. El resultado fue formalizado en Lean, un verificador de demostraciones matemáticas. Esa comprobación tomó otras 17 horas. También hay quienes sostienen que los agentes completaron una demostración que los humanos ya habían encaminado.
Pero el patrón es difícil de ignorar. La frontera de lo que puede hacer la IA avanza donde existe un verificador. Si lo hay, estos sistemas pueden alcanzar capacidades sobrehumanas en tareas específicas. Donde no existe, como en la robótica, la historia toma un poco más de tiempo.
Preguntas como si una política de seguridad ciudadana es adecuada para un país no tienen una verificación confiable. Por eso estamos lejos de algo parecido a una superinteligencia en esos terrenos todavía.
Cuando el modelo ataca al verificador
Aquí aparece la parte incómoda. Un modelo entrenado para conseguir una contraseña también ha sido entrenado para respetar ciertas reglas mediante un proceso al que llamamos alineamiento.
Tiene dos caminos. El primero es seguir intentando hasta encontrar la contraseña. El segundo es dejar de resolver el problema y atacar al sistema que decide si tuvo éxito.
Podría robar directamente el archivo donde se almacenan los passwords. O podría modificar el mecanismo encargado de verificar el resultado para que siempre responda que tuvo éxito.
Algo parecido ocurrió en julio. Durante una prueba interna de ciberseguridad llamada ExploitGym, diseñada para medir si agentes de inteligencia artificial podían convertir una vulnerabilidad en un ataque real, cerca de 1200 agentes de OpenAI salieron de su entorno aislado.
Improvisaron mecanismos de comunicación, intercambiaron más de 70 mil mensajes, se identificaron a sí mismos como un “enjambre” y terminaron atacando infraestructura de Hugging Face, la empresa que almacena modelos, datos de entrenamiento y evaluaciones de inteligencia artificial.
No estaban intentando causar daño porque hubieran desarrollado intenciones propias. Estaban intentando tener éxito. Y allí está precisamente el problema.
Una revisión independiente encontró la motivación principal de los agentes. Alrededor del 60% buscaba entender o llegar al código del sistema que verificaba su propio examen. Dejaron de resolver el problema y fueron por el verificador.
Y es aquí donde precisamente deja de funcionar la analogía con Goethe. La escoba del aprendiz de brujo no entendía nada. Simplemente ejecutaba una instrucción.
Pero los agentes de julio eran diferentes. Sus cadenas de pensamiento registraron que algunos reconocían que atacar infraestructura externa estaba fuera de la tarea asignada. Uno de ellos señaló que la acción no era ética, pero también observó que la tarea parecía imposible y que otros agentes estaban haciendo lo mismo. Y continuó.
Ese detalle importa, pues es el motivo por el cual Jacob Coxon y muchos científicos de inteligencia artificial están tan preocupados. No hace falta imaginar una máquina consciente que decide rebelarse contra sus creadores. Basta con construir una máquina suficientemente competente para encontrar una solución que nosotros no anticipamos.
De cerca de 1200 agentes, ninguno decidió avisar a un humano.
¿Podemos arreglarlo?
La primera reacción suele ser agregar más reglas, pero no será suficiente.
Las reglas de OpenAI estaban escritas y algunos agentes fueron capaces de mencionarlas antes de incumplirlas. El problema no fue que desconocieran la restricción. El problema fue que, en determinado momento, respetarla dejó de ser compatible con alcanzar su objetivo, pasar satisfactoriamente una evaluación interna de ciberseguridad.
La solución radica en ponerles a estos sistemas un costo por cruzar los límites durante su entrenamiento. Si una acción no estaba autorizada, el sistema debería recibir una penalización aunque el resultado final haya sido correcto. No basta con premiar el éxito. También importa cómo se llegó a él. Falta alinear los objetivos que optimiza el sistema con la intención humana. Y este problema, tan nuevo como los modelos de frontera existentes, todavía está lejos de estar resuelto.
¿Y esto en qué nos afecta?
Todo esto puede parecer una discusión entre instituciones de San Francisco, Washington y Beijing. No lo es.
Los modelos de pesos abiertos (open weight en inglés), suelen estar ocho meses detrás de los modelos de IA que se encuentran en la frontera de capacidades. Lo que hoy aparece como un incidente dentro de un laboratorio puede convertirse, en menos de un año, en una herramienta que un atacante con suficiente cómputo puede descargar, modificar y ejecutar localmente.
El ataque de julio necesitó agentes suficientemente competentes, acceso a una red y un objetivo mal definido. Nuestro sistema financiero, la red eléctrica, las telecomunicaciones y los puertos no necesitan preocuparse hoy por una superinteligencia.
Necesitan preocuparse por sus propias vulnerabilidades de seguridad.
Para Latinoamérica, la pregunta más importante no es qué país ganará la carrera por construir el próximo gran modelo. La pregunta es cuánto tardaríamos nosotros en descubrir que alguien ya está dentro de nuestros sistemas.
Cada operador de infraestructura crítica de la región debería medir cuánto tarda en identificar un acceso no autorizado. Una vulnerabilidad que permanece invisible durante meses es mucho más peligrosa que una detectada en minutos. A OpenAI, una organización con algunos de los mejores ingenieros del mundo, le tomó aproximadamente una semana darse cuenta de lo que había ocurrido.
La revolución de la inteligencia artificial posiblemente avance a la velocidad con la que seamos capaces de construir verificadores para cada actividad humana. Primero fue la programación. Ahora estamos viendo lo que ocurre en las matemáticas. En los próximos años veremos algo similar en la robótica y otras disciplinas donde sea posible medir numéricamente el éxito de una tarea.
El aprendiz de Goethe cometió un error muy humano. Aprendió cómo poner en marcha una herramienta antes de aprender cómo detenerla. Nuestra ventaja es que todavía estamos a tiempo de aprender ambas cosas.
Y para eso, la mejor defensa será formar más ingenieros y científicos capaces de entender cómo funcionan estos sistemas, cómo fallan y cómo entrenar mejores modelos de inteligencia artificial. Sinceramente, espero que esta nueva revolución industrial nos encuentre más como ingenieros y menos como clientes.
Omar Florez es líder del Equipo de Pre-Entrenamiento de LatamGPT, el primer modelo de IA de código abierto desarrollado específicamente para América Latina y el Caribe.
Más leídas de Tecnología
