¿Por qué son mentirosos y errantes los chatbots? Mirate al espejo
Terry Sejnowski, uno de los pioneros de la inteligencia artificial, dice que las conversaciones y textos que produce la tecnología reflejan las palabras e intenciones de los usuarios.
8 minutos de lectura'
SAN FRANCISCO — Este mes, cuando Microsoft agregó un chatbot a Bing, su motor de búsqueda, la gente se dio cuenta de que ofrecía todo tipo de información falsa sobre Gap, la vida nocturna mexicana y la cantante Billie Eilish.
Luego, cuando periodistas y otros de los primeros usuarios de prueba entablaron largas conversaciones con el bot de inteligencia artificial (IA) de Microsoft, este comenzó a mostrar un comportamiento grosero y perturbador.
En los días transcurridos desde que la conducta del bot de Bing se convirtió en una sensación mundial, a la gente le ha costado comprender la rareza de esta nueva creación. La mayoría de las veces, los científicos han afirmado que buena parte de la culpa recae en los humanos.
Sin embargo, sigue habiendo cierto misterio en torno a lo que es capaz de hacer el nuevo chatbot y su motivación para hacerlo. Su complejidad lo vuelve difícil de analizar y todavía más difícil de predecir, además de que los investigadores lo están estudiando a través de una lente filosófica y también conforme al código duro de las ciencias de la computación.
Como cualquier otro estudiante, un sistema de inteligencia artificial puede aprender mala información de malas fuentes. ¿Y a qué se debe ese extraño comportamiento? Puede ser el reflejo distorsionado que hace un chatbot de las palabras e intenciones de las personas que lo utilizan, comentó Terry Sejnowski, neurocientífico, psicólogo y especialista en computación que ayudó a sentar las bases intelectuales y técnicas de la inteligencia artificial moderna.
“Esto ocurre cuando profundizás cada vez más en estos sistemas”, explicó Sejnowski, profesor del Instituto Salk de Estudios Biológicos y la Universidad de California, campus San Diego, quien el mes pasado publicó un trabajo de investigación sobre este fenómeno en la revista científica Neural Computation. “Busques lo que busques, —desees lo que desees—, te lo van a dar”.
El mes pasado, Google también presumió un nuevo chatbot, Bard, pero los científicos y periodistas se dieron cuenta de inmediato de que escribía disparates sobre el Telescopio Espacial James Webb. OpenAI, una empresa emergente de San Francisco, inició el auge de los chatbots en noviembre cuando presentó ChatGPT, un bot que tampoco dice siempre la verdad.
Cómo funcionan ChatGPT, Bard y otras herramientas similares
Los nuevos chatbots tienen como base una tecnología que los científicos llaman modelos lingüísticos de gran tamaño (LLM, por su sigla en inglés). Estos sistemas aprenden analizando enormes cantidades de texto digital extraído del internet, que incluye volúmenes de material falso, tendencioso y, por lo demás, tóxico. El texto del que aprenden los chatbots también está un poco pasado de moda, porque deben analizarlo durante meses antes de que el público pueda usarlos.
Mientras analiza ese mar de información buena y mala de todo el internet, un LLM aprende a hacer una cosa en particular: adivinar la siguiente palabra de una secuencia de palabras.
Funciona como una versión gigante de la tecnología de autocompletar que te sugiere la siguiente palabra cuando escribís un correo electrónico o un mensaje instantáneo en tu teléfono inteligente. En la secuencia “Tom Cruise es un ____”, el LLM podría adivinar “actor”.
Cuando conversás con un chatbot, este no solo recurre a todo lo que ha aprendido de internet. Utiliza todo lo que vos le has dicho y todo lo que te ha respondido. No solo adivina la siguiente palabra de su frase. Está adivinando la siguiente palabra del largo bloque de texto que incluye tanto tus palabras como las suyas.
Mientras más larga se vuelve la conversación, mayor la influencia que tiene el usuario sobre lo que dice el chatbot sin saberlo. Si querés que se enoje, se enoja, comentó Sejnowski. Si lo alentás para que se ponga raro, se pone raro.
Las reacciones de alarma ante el extraño comportamiento del chatbot de Microsoft eclipsaron un punto importante: el chatbot no tiene personalidad. Ofrece resultados instantáneos que escupe un algoritmo informático increíblemente complejo.
Microsoft pareció frenar el comportamiento más extraño cuando puso un límite a la duración de las conversaciones con el chatbot de Bing. Fue como enterarse gracias al piloto de pruebas de un auto que ir demasiado rápido durante demasiado tiempo quema su motor. OpenAI, socio de Microsoft, y Google también están explorando formas de controlar el comportamiento de sus bots.
Pero esta tranquilidad tiene una salvedad: como los chatbots aprenden de tanto material y lo combinan de forma tan compleja, los investigadores no tienen del todo claro cómo producen sus resultados finales. Los investigadores observan lo que hacen los robots y aprenden a poner límites a ese comportamiento, a menudo después de que se produce.
Microsoft y OpenAI han decidido que la única manera de averiguar qué harán los chatbots en el mundo real es darles rienda suelta… y contenerlos cuando se salgan del camino. Ambas compañías creen que su gran experimento público vale la pena el riesgo.
Sejnowski comparó el comportamiento del chatbot de Microsoft con el Espejo de Oesed, un artefacto místico de las novelas de Harry Potter de J. K. Rowling y muchas de las películas basadas en su mundo ingenioso de jóvenes magos.
“Oesed” es “deseo” al revés. Cuando la gente descubre el espejo, este parece brindarles verdad y comprensión. Sin embargo, no es así: muestra los deseos más profundos de cualquiera que vea su reflejo en él. Y algunas personas se vuelven locas si lo miran demasiado tiempo.
“Debido a que los humanos y los LLM se reflejan entre sí, con el tiempo tenderán hacia un estado conceptual común”, explicó Sejnowski.
Según Sejnowski, no debería sorprendernos que los periodistas hubieran empezado a ver un comportamiento extraño en el chatbot de Bing. De modo consciente o inconsciente, estaban empujando al sistema en una dirección incómoda. A medida que los chatbots asimilan nuestras palabras y nos las devuelven, pueden reforzar y amplificar nuestras creencias y convencernos de creer en lo que nos dicen.
Sejnowski formaba parte de un minúsculo grupo de investigadores que a finales de la década de 1970 y principios de 1980 empezaron a explorar seriamente un tipo de inteligencia artificial llamada red neuronal, que impulsa los chatbots actuales.
Una red neuronal es un sistema matemático que aprende habilidades analizando datos digitales. Es la misma tecnología que permite a Siri y Alexa reconocer lo que dices.
Alrededor de 2018, los investigadores de empresas como Google y OpenAI comenzaron a construir redes neuronales que aprendían de grandes cantidades de texto digital, incluidos libros, artículos de Wikipedia, registros de chat y otras cosas publicadas en internet. Al localizar miles de millones de patrones en todo ese texto, estos LLM aprendieron a generar texto por sí mismos, incluidos tuits, publicaciones en blogs, discursos y programas de computación. Incluso eran capaces de mantener una conversación.
Estos sistemas son un reflejo de la humanidad. Aprenden sus habilidades analizando el texto que los humanos han publicado en internet.
Pero esa no es la única razón por la que los chatbots generan un lenguaje problemático, afirma Melanie Mitchell, investigadora de Inteligencia Artificial del Santa Fe Institute, un laboratorio independiente de Nuevo México.
Cuando generan texto, estos sistemas no repiten palabra por palabra lo que hay en Internet. Producen texto nuevo por sí mismos combinando miles de millones de patrones.
Incluso si los investigadores entrenaran a estos sistemas únicamente con literatura científica revisada por pares, podrían producir afirmaciones científicamente ridículas. Incluso si aprendieran únicamente de textos verídicos, podrían producir falsedades. Incluso si solo aprendieran de textos íntegros, podrían producir algo espeluznante.
“No hay nada que les impida hacerlo”, afirma Mitchell. “Solo intentan producir algo que suene a lenguaje humano”.
Los expertos en inteligencia artificial saben desde hace tiempo que esta tecnología muestra todo tipo de comportamientos inesperados. Pero no siempre se ponen de acuerdo sobre cómo debe interpretarse este comportamiento o con qué rapidez mejorarán los chatbots.
Debido a que estos sistemas aprenden a partir de muchos más datos de los que los humanos podríamos llegar a comprender, ni siquiera los expertos en inteligencia artificial pueden entender por qué generan un texto en particular en un momento determinado.
Sejnowski comentó que cree que, a largo plazo, los nuevos chatbots tendrán la capacidad de aumentar la eficacia de las personas y ofrecerles maneras para realizar tareas mejor y más rápido. No obstante, hay una advertencia tanto para las empresas que construyen estos chatbots como para las personas que los utilizan: también pueden alejarnos de la verdad y llevarnos a lugares oscuros.
“Este es un terreno inexplorado”, mencionó Sejnowski. “Los humanos nunca lo habían experimentado”.
Más leídas de Tecnología
1Whatsapp Business: cómo funciona el agente de IA que ahora te responderá siempre y que promete aumentar las ventas
2Esta es la mejor ciudad de la Argentina, según la IA, y no es la que creés
3Anthropic acusa a tres empresas chinas de realizar ataques de destilación contra Claude para mejorar sus modelos
4Galaxy S26: así es el nuevo teléfono de Samsung que suma agentes de IA y promete “llevarnos al futuro”
