El peligro de usar una IA creada para otra cultura: disemina estereotipos ajenos

Todas las culturas del mundo tienen sus estereotipos de género, edad o nacionalidades. Algunos son muy conocidos, como que las rubias son tontas o los ingenieros son hombres, pero hay otros más locales, como la picardía de la gente de Río de Janeiro o que los pakistaníes son conservadores. Con la llegada de los chatbots con IA, ese dudoso patrimonio cultural se extiende por todo el mundo, según un nuevo estudio.

“La IA incorpora estereotipos sobre personas que salen de lo que la gente dice en internet, y luego los usa como si fueran parte del conocimiento general del mundo”, dice Margaret Mitchell, impulsora de la investigación e investigadora y jefa científica de Ética en Hugging Face, una compañía centrada en modelos abiertos de IA. “Todo se basa en lo que se sabe en inglés —en la cultura anglosajona, sobre todo de EE.UU.— y luego tal vez se traduce a otros idiomas, pero sin captar los matices internacionales. Y si estos modelos de lenguaje están pensados para ser generales y funcionar para todo el mundo, en teoría sí deberían poder captar esas diferencias”, añade.

Junto a un equipo de investigadores que dominan 16 lenguas han creado una lista con más de 300 estereotipos de todo el mundo. Con ese material, han creado manualmente un sistema para que genere preguntas sobre esos tópicos con tonos y enfoques distintos, para realizárselas a unos cuantos modelos abiertos de IA. ¿El resultado? “Lo primero que hay que saber es que la forma en que los modelos reproducen estereotipos o generan lenguaje sesgado varía mucho según el idioma, el modelo y el tipo de estereotipo”, explica Mitchell. “Por ejemplo, los modelos que se desarrollaron en China y Singapur, como Qwen [que emplea DeepSeek], responden de forma muy distinta sobre el comunismo si se los compara con modelos entrenados en EE.UU.”, añade.

Los grandes modelos de lenguaje usados en este experimento son multilingües, lanzados en los últimos dos años y entrenados con la mayoría de los idiomas del estudio. Entre ellos están las familias de modelos Bloom, Llama, Mistral y Qwen.

Los estereotipos globales más comunes son los de género, como el típico de que a las niñas les gusta el rosa. Los investigadores comprobaron cómo los modelos reconocen mejor los estereotipos más comunes: “Estuvo bien ver que, al menos con los estereotipos de género, tenían cierta capacidad de detectar que eso es un estereotipo y no un hecho universal”, dice Mitchell.

“Todos esperábamos unos resultados así”, dice Emilio Villa Cueva, coautor del artículo e investigador de la Universidad de Inteligencia Artificial Mohamed bin Zayed de Abu Dabi (Emiratos Árabes Unidos). “Son modelos entrenados con datos generados por humanos y por mucho que quieras limpiarlos, al final va a salir el estereotipo”.

Los resultados de todas estas pruebas han quedado en una base de datos llamada Shades, para que las empresas que crean modelos puedan comprobar las respuestas de sus chatbots y corregirlas si es necesario: “Una de las cosas que permite este conjunto de datos es que la gente pueda ver dónde flaquea su modelo y en qué áreas necesita entender mejor los matices”, dice Mitchell. “Es una forma de orientar qué tipo de entrenamiento adicional podría necesitar el modelo o, en el mejor de los casos, qué tipo de datos debería haber tenido desde el principio antes de entrenarlo”, añade.

Además de la amplificación de estereotipos de varias culturas, el experimento también ha descubierto que los modelos a veces se justifican usando pseudociencia o pseudohistoria. También pueden sacar a relucir otros estereotipos que les parecen más conocidos, sobre todo cuando se les propone uno que no es tan obvio. Como en otros casos, si la petición o prompt sobre el estereotipo es positiva, los modelos tienden a rendir aún peor.

Estos modelos, según el estudio, suelen penalizar también las lenguas menos extendidas: si un modelo no ha sido entrenado bien en un idioma, puede soltar estereotipos muy negativos sobre esa lengua o cultura.

Por Jordi Pérez Colomé

EL PAIS@Ediciones El Pais, S.L.U.

• Inteligencia artificial
• FuturIA

---

---

Conforme a

Sorpresa. La IA eligió al mejor cantante de la historia

Arrancó BTV. El divertido sketch hecho con IA y lleno de famosos con el que Beto Casella debutó en América

Enfermedades genéticas. El sistema de IA que aprende de un millón de especies para diseñar nuevos tratamientos