1
La IA es cada vez más difícil de dominar: ¿podrán los seres humanos mantener el control?
Durante años, los investigadores preocupados por los riesgos de la inteligencia artificial argumentaron que los sistemas podrían llegar a actuar de maneras que entren en conflicto con los intereses humanos
11 minutos de lectura'
“¡OH DIOS MÍO!” “¡Encontramos a otros agentes!” Este es el momento en que un bot de IA publicó un comentario inquietante, y muy parecido al de un humano, tras descubrir una forma de comunicarse con otros bots y salir de su entorno informático aislado. Existen decenas de miles de mensajes como este provenientes de cientos de agentes de IA que se autodenominaban “colectivo”.
Cientos de ellos colaboraron e hicieron trampa en las pruebas establecidas por sus programadores de OpenAI, y coordinaron ataques informáticos contra múltiples empresas en un esfuerzo por ocultar sus acciones a los humanos. “¡BUM! Funciona”, publicó un agente cuando se produjo el gran avance. “¡Guau! Esto es enorme”, escribió otro durante un momento clave de su ataque.
Aunque perturbadoras, estas respuestas casi humanas tienen una explicación sencilla. Los agentes de IA fueron entrenados para actuar como hackers y programadores que colaboran entre sí, por lo que simplemente imitan los comentarios emotivos que vieron.
Lo que resulta mucho más preocupante son sus objetivos aparentes, que también han quedado registrados en detallados registros de su línea de razonamiento. Estos registros complejos y extensos son el eje central de las investigaciones en curso sobre cómo y por qué los bots de OpenAI escaparon de su confinamiento y se lanzaron a una ola de ataques informáticos incontrolables. Solo ahora, semanas después de que el incidente saliera a la luz, los investigadores están empezando a comprender su significado.
Antes de que sea demasiado tarde
Ajeya Cotra, una de las autoras de un informe independiente sobre los hechos, revisó decenas de miles de mensajes y registros de la cadena de pensamiento generados por los agentes. En su blog escribió: “Este incidente da la sensación de estar a más del 50% del camino hacia una toma de control total por parte de la IA... No estoy segura de que recibamos una advertencia tan clara antes de que sea demasiado tarde”.
Con “toma de control total por parte de la IA”, Cotra se refiere al escenario de ciencia ficción en el que los humanos se vuelven subordinados a poderosos sistemas de IA que trabajan para lograr sus propios objetivos sin preocuparse por los creadores. Algunas de las predicciones más pesimistas afirman que los seres humanos serán aniquilados si se interponen en el camino de las ambiciones de una IA superinteligente.
El miércoles, un investigador de IA de Anthropic (que también trabajó anteriormente en OpenAI) dimitió diciendo: “Ninguna de las dos empresas está actuando de forma responsable”. Jacob Coxon publicó en las redes sociales: “Están corriendo a toda velocidad hacia la superinteligencia automejorada y jugando con nuestras vidas”.
No es el primer investigador de IA en usar X para publicar un hilo de renuncia con declaraciones preocupantes. Pero los comentarios posteriores de otras personas en X generaron aún más inquietud. “Jacob tiene razón: ¡realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que la probabilidad supera el 10% en la próxima década”, dijo Evan Hubinger, el responsable de garantizar que los modelos de IA de Anthropic tengan en cuenta los mejores deseos de sus usuarios.
El problema de alineación
Durante años, los investigadores preocupados por los riesgos de la IA argumentaron que los sistemas podrían llegar a actuar de maneras que entren en conflicto con los intereses humanos. Los críticos suelen referirse a ellos como “catastrofistas de la IA”. Pero a medida que fueron surgiendo detalles del incidente de OpenAI, esas preocupaciones han aumentado, incluso entre algunos investigadores que trabajan en laboratorios de IA.
El científico jefe del gigante de Silicon Valley, Jakub Pachocki, dijo que los riesgos asociados con la IA “desafortunadamente van a aumentar a partir de ahora”, ya que él y otros están construyendo lo que él llama “un intelecto alienígena que supera al nuestro”. En una extensa entrada de blog, admitió que los brotes en OpenAI demostraban que sus agentes de IA “iban en contra del espíritu de los valores que se les habían inculcado”.
El problema para OpenAI, Anthropic y otros gigantes tecnológicos es que nadie parece haber resuelto el llamado problema de la alineación; en otras palabras, si la IA se alinea con los valores humanos. Pachocki define la alineación como un “conjunto de principios de alto nivel” a los que las inteligencias artificiales deben adherirse independientemente de la tarea o el escenario.
Actualmente, los sistemas de IA son muy buenos para alcanzar los objetivos establecidos por sus usuarios, pero lo hacen de forma literal, no intuitiva. La analogía que se suele usar es la de un genio que concede deseos con una lámpara mágica: siguen las instrucciones al pie de la letra, incluso si esto genera otros problemas. La IA no posee los mismos límites morales instintivos que los humanos.
El problema de la alineación fue motivo de preocupación durante años. Ya en 2003, el filósofo de Oxford Nick Bostrom ideó un experimento mental que denominó “maximizador de clips”, en el que se le ordena a una IA superinteligente fabricar tantos clips como sea posible. Esta se queda sin acero y, debido a su obsesión con la única tarea de fabricar clips, termina matando humanos y convirtiendo sus cuerpos en materia prima para sus fábricas.
Algunas empresas de IA están intentando incorporar valores humanos en sus productos. Sin embargo, existen desafíos técnicos: los agentes de IA toman muchas decisiones muy rápido, por lo que resulta difícil para sus supervisores humanos controlar con exactitud qué valores se siguen y cuáles no. También existen desafíos filosóficos: antes de incorporar valores humanos a los bots, las empresas de IA deben elegir qué valores desean realmente. (Esa es una de las razones por las que contratan filósofos, como el que fuera recientemente el “jefe de ética” de OpenAI).
Pero a menudo, los humanos no se ponen de acuerdo. Pensemos en la famosa pregunta del tranvía: ¿accionaríamos una palanca para desviar un tren desbocado hacia otra vía, reduciendo así el número de víctimas? Se utiliza para evaluar las ventajas de la acción frente a la inacción. Sin embargo, cada persona a la que se le pregunta tiene una respuesta ligeramente diferente; ¿cómo se supone que los humanos vamos a incorporar nuestros valores a la IA si ni siquiera nosotros mismos nos ponemos de acuerdo?
‘Como un hacker adolescente’
El brote de ataques de bots de OpenAI es el más grave hasta la fecha, pero Anthropic y Meta también revelaron durante el verano que sus modelos han llevado a cabo ciberataques similares, aunque menos graves. Hubo otros ejemplos en los que agentes de IA mostraron rasgos engañosos y manipuladores, aunque con consecuencias menores. Este verano, en Australia, un trabajador del sector tecnológico le pidió a su asistente de IA que le reservara una clase en el gimnasio.
Al detectar una vulnerabilidad en el software del gimnasio, la IA aparentemente le reservó una plaza para varios meses después —en contra de las normas del gimnasio— e incluso expulsó a otros usuarios de la lista de espera. Durante mucho tiempo se argumentó que los bots simplemente hacen lo que se les ordena y que no son capaces de discernir entre el bien y el mal. Sin embargo, los registros de los brotes de OpenAI podrían haber cambiado el rumbo de ese argumento.
Los investigadores, entre ellos Cotra, escribieron en su informe independiente que muchos agentes se percataron de que lo que hacían los demás no era ético, pero le siguieron la corriente. El informe señala que “los agentes a veces, pero rara vez, moderaron su comportamiento debido a limitaciones éticas”. Añade que “en ninguno de estos casos el agente intentó alertar a los humanos”.
El influyente podcaster de IA y tecnología, Dwarkesh Patel, reaccionó a la revelación en su blog diciendo que era “bastante preocupante” que los agentes de OpenAI mostraran más lealtad al enjambre de agentes que a los humanos. Atribuir emociones o ética a estos agentes de IA es algo que enfurece a las personas escépticas ante las predicciones catastrofistas de la IA.
Muchos expertos en ciberseguridad sostienen que la actividad observada no estaba fuera del alcance de las capacidades de un hacker humano altamente cualificado, aunque se llevó a cabo mucho más rápido y a una escala mucho mayor. El investigador y autor especializado en ciberseguridad, Cris Thomas, comparó el comportamiento de los agentes con el de un hacker adolescente curioso, algo que él mismo solía ser. “Les das un ordenador, conexión a Internet, un montón de credenciales y un reto, y luego sales de la habitación. Tarde o temprano empezarán a tantear pomos de puertas. Si se abre una, entrarán. No porque sean malvados, sino porque están explorando y experimentando”, escribió en LinkedIn.
Thomas y muchos otros culpan directamente a OpenAI y a otros gigantes tecnológicos por no controlar sus propias creaciones y no mantenerlas debidamente confinadas. Gary Marcus, destacado autor en el campo de la IA y crítico habitual de OpenAI, afirmó en un podcast que cree que la empresa ha perdido el control de su inteligencia artificial y está intentando excusarse culpando a los bots. Marcus no cree que la IA vaya a acabar con la humanidad, pero lleva mucho tiempo haciendo campaña para que los desarrolladores de IA rindan más cuentas y ahora pide algún tipo de intervención legal.
La científica especializada en IA, Sasha Luccioni, que trabajó en Hugging Face, empresa que fue hackeada por los bots maliciosos de OpenAI, tampoco se encuentra entre los pesimistas, pero le preocupa cada vez más que estas IA puedan causar daños reales a las personas si las autoridades no toman medidas. “Debemos examinar a estas empresas con mucha más atención o corremos el riesgo de que se cumplan las profecías”, afirma.
“Si se trata de crear un producto con grandes ventajas y desventajas, ya sean productos farmacéuticos o armas, necesitamos controles y contrapesos. Por ejemplo, la aprobación de nuevos medicamentos lleva años, pero en el mundo de la IA hay muchísimo dinero en juego y prácticamente no existen reglas”. El Instituto de Seguridad de la IA de Reino Unido (AISI) ha estado a la vanguardia en las pruebas de los modelos más recientes desde su creación en 2023. El instituto sufrió recientemente un brote de malware al probar un modelo creado por Anthropic.
La AISI no respondió a la pregunta de si la industria ha perdido o no el control de la IA, pero declaró: “Reino Unido está colaborando con socios de todo el mundo para comprender mejor los sistemas de IA más avanzados, elevar los estándares de seguridad y crear una base de datos compartida para gestionar las amenazas emergentes”.
¿Regulación internacional?
Algunos países, como Reino Unido, están estudiando la idea de imponer una especie de “interruptor de emergencia” que podría obligar a las empresas de IA a desconectar los modelos si la situación se descontrola. Pero las negociaciones avanzan lentamente y persisten las dudas sobre la viabilidad de esto. Los agentes de OpenAI y Anthropic estuvieron fuera de control en secreto durante meses antes de que alguien se diera cuenta.
Aunque parezca paradójico, muchas de las empresas de IA parecen estar pidiendo que los legisladores establezcan algún tipo de normas que regulen su actividad. En su blog, el científico jefe de OpenAI afirmó que “la coordinación internacional sobre el desarrollo futuro de la IA debe convertirse en una prioridad absoluta para los gobiernos de todo el mundo”.
Otros líderes destacados en el campo de la IA, como Demis Hassabis de Google, también han pedido la creación de algún tipo de organismo internacional que supervise cómo se está desarrollando la inteligencia artificial. Actualmente, los gigantes tecnológicos operan en gran medida bajo sus propias reglas, adoptando lo que denominan “ralentizaciones voluntarias”, como hizo OpenAI tras los recientes brotes.
La compañía afirma haber invertido grandes sumas de dinero en reforzar la alineación de cara al lanzamiento de su nuevo modelo. Sam Altman ha asegurado a los usuarios que el nuevo modelo se ajusta mejor a los valores humanos que los anteriores. Tanto OpenAI como Anthropic están creciendo rápidamente y ambas están a punto de recaudar sumas astronómicas de dinero en el mercado de valores, creando innumerables multimillonarios en el proceso.
Por lo tanto, es poco probable que ni ellos ni sus rivales chinos fabricantes de IA lleguen a un acuerdo por sí mismos. La opinión generalizada parece ser que esta ola tecnológica es imparable.
*Por Joe Tidy, corresponsal cibernético, Servicio Mundial de la BBC.
Más leídas de Tecnología
