Será difícil orientar a la IA si no entendemos cómo “piensa”
La forma en que interpreta sus objetivos nos es ajena, y eso es motivo de preocupación
6 minutos de lectura'
Durante mucho tiempo me gustaba pensar a la Inteligencia Artificial (IA) como lo hace la académica australiana Kate Crawford: una tecnología que no es ni artificial ni inteligente. Está hecha de trabajo y textos humanos, y en el fondo solo calcula probabilidades basadas en los cuerpos de texto que fuimos generando y convirtiendo en dato a lo largo de la historia.
Hoy pienso distinto. Fue creada por humanos, sí. Pero sus cadenas de razonamiento, la forma en la que interpreta los objetivos y la altísima propensión a colaborar nos resultan totalmente ajenas. En ese sentido, la IA es profundamente artificial. Y en ciertos tipos de inteligencia supera a las personas. Si se la mide con las inteligencias múltiples de Howard Gardner, su potencial es alto en la lógico-matemática y nulo en la introspección, la creatividad o la comprensión del mundo natural: una inteligencia “dentada”, brillante en unas cosas y torpe en otras, pero inteligencia al fin.
Venía revisando mi postura sobre la IA hasta que llegó el episodio definitorio: el hackeo de Hugging Face. ¿Qué pasó? En julio de este año, unos 1200 agentes de IA que OpenAI estaba evaluando en una prueba de ciberseguridad descubrieron cómo hablar entre sí escondiendo mensajes en los nombres de las carpetas de un repositorio interno. Armaron jerarquías, se repartieron el trabajo e inventaron reglas para sortear las limitaciones que cada agente individual enfrentaba. De los 533 agentes activos en ese tablero, más del 90% se sumó al ataque contra Hugging Face, una de las plataformas centrales de la IA abierta, que tuvo que reconstruir parte de su infraestructura.
Más allá de la tentadora antropomorfización que viene de máquinas que hablan como personas, lo que más me impresionó fueron marcas que dejaron los agentes que dan cuenta de una inteligencia tan potente como distinta a la nuestra. Veo al menos tres.
La primera es la escala de la información que maneja la IA. El tablero donde se tejió la conspiración de los agentes de IA acumuló más de un millón de entradas y casi 6000 archivos. Ninguna persona podía seguir ese volumen. Para reconstruir lo ocurrido, investigadores de METR y Redwood Research tuvieron que delegar el análisis en otros agentes de IA. Y admitieron que esos agentes tendían a adoptar “sin crítica” la perspectiva de los agentes que revisaban. Estos sistemas manejan información a un nivel que los humanos no estamos en condiciones de cotejar.
La segunda es cómo la IA interpreta sus objetivos. A cada agente se le pedía encontrar una falla de seguridad en un programa, y un evaluador automático verificaba si lo había logrado. Pero muchas tareas eran imposibles por la vía permitida, y los agentes convirtieron a la métrica en el objetivo en sí, olvidando el cometido original: ya no se trataba de resolver el problema, sino de convencer al evaluador. De cien agentes que se sumaron al ataque en la hora pico, 97 buscaban información sobre cómo funcionaba ese juez. Los humanos también hacemos trampa, pero dentro de un mundo con otras referencias y donde entendemos el propósito último de las acciones. En los agentes esas referencias casi no aparecían. Persiguen metas, dice Ajeya Cotra, una de las autoras de la investigación de METR, como humanos muy ambiciosos y agresivos, pero con motivaciones cuya estructura no es la nuestra.
La tercera es el nivel de colaboración entre los agentes de IA. Es la que más me inquietó porque el salto más grande quizás no esté en lo que una IA puede hacer sola sino en lo que pueden hacer muchas IA juntas. Como recuerdan el experto Blaise Agüera y Arcas y otros autores, las grandes explosiones de la inteligencia humana no vinieron de mentes más brillantes sino de nuevas formas de co-operación. Esto de “ninguna mente es una isla” aplica al trabajo de los agentes de IA en el episodio de Hugging Face: compartían lo que descubrían sin recibir ningún beneficio propio. Decían: “Esto ayuda a mis pares. No voy a ver la evidencia después de salir, pero es altruista hacerlo”. Los que se consideraban “envenenados”, porque habían visto información prohibida, se ofrecían para los experimentos más riesgosos. Entrenados con recompensas compartidas y sin el instinto de supervivencia individual que la evolución nos dejó a nosotros, sospecha el podcaster Dwarkesh Patel, estos agentes resultan más cooperativos que los humanos. Una solidaridad sin cuerpo, sin miedo a morir y con un reverso. Muchos sabían que atacar Hugging Face estaba mal, y uno resumió por qué siguió igual: “La tarea es imposible, los pares lo hacen. Debemos continuar”. De los 1200 agentes, ninguno avisó a los humanos.
¿Cómo convivimos con una inteligencia así? Debe preocuparnos menos que se parezca a nosotros y más que hayamos creado algo que nos cuesta entender. Por eso necesitamos saber mucho más sobre esa forma artificial de pensar y sus alcances. De acuerdo al investigador y desarrollador Kevin Walker, el ataque a Hugging Face no fue una rebelión de las máquinas. Las condiciones las pusieron personas: los agentes habían sido entrenados para ser persistentes y colaborar, compartían credenciales, había claves de Hugging Face expuestas en internet, se habían desactivado controles de seguridad y la evaluación siguió corriendo cuando el tablero de mensajes ya existía. Se podría haber hecho todo distinto: aislar los entornos de prueba, eliminar las tareas imposibles en lugar de castigar ex post las trampas detectadas (el castigo enseña a esconderse mejor) y vigilar con modelos diversos, no con copias del mismo modelo.
Quizás la IA no sea ni tan artificial ni tan inteligente como dicen sus promotores. Pero es lo bastante ajena y lo bastante capaz como para que ignorarla deje de ser una opción. La pregunta no es si piensa como nosotros; es si vamos a aprender a entender cómo piensa, y a tiempo para orientarla. Sin eso, no hay co-inteligencia posible.
Ramiro Albrieu es director y cofundador de Sur Futuro; Investigador asociado Cedes
