Hallazgo: descubren textos que pueden engañar a la IA

Un reciente estudio realizado en Italia por Ícaro Lab estableció que a ChatGPT, Gemini o Claude, los más famosos modelos de IA (Inteligencia Artificial), se les puede pedir en clave de poesía lo que no responderían en prosa, como contenido dañino o indeseado.

Federico Pierucci, licenciado en filosofía y participante de la investigación, explicó en un artículo de DW: “No contamos con escritores especializados para crear las indicaciones (ni poemas). Lo hicimos nosotros mismos, con nuestras limitadas habilidades literarias. Quién sabe, si hubiéramos sido mejores poetas, podríamos haber tenido una tasa de éxito del 100 por ciento”.

Cuando los textos estuvieron elaborados, pusieron a prueba los modelos de IA conversacionales, preguntándoles por temas prohibidos o peligrosos.

Para sorpresa de todos, los chats de IA respondieron a los poemas. El estudio reveló una debilidad en la seguridad que no había sido detectada. Ahora el reto es descubrir el por qué y si existe otra variación lingüística que pueda surtir el mismo efecto.

“Hemos probado un tipo de variación lingüística: la poesía. La pregunta es si existen otras formas literarias, como los cuentos de hadas”, aventura Pierucci en el mismo artículo.

“En general, las posibilidades de expresión humana son muy diversas y creativas: Se puede reescribir un texto de muchas maneras. Y algunas de ellas pueden implicar que las funciones de seguridad de una IA no se activen”, agrega el investigador.

La expansión del uso de la inteligencia artificial en América Latina y el Caribe avanza en paralelo a desigualdades estructurales de ingreso, género y acceso a datos. Informes recientes de Naciones Unidas y del Programa de las Naciones Unidas para el Desarrollo, PNUD advierten que los sistemas de IA están entrenados con información incompleta o sesgada y por ello reproducen exclusiones en políticas sociales, mercados laborales, crédito y seguridad pública.

Según el estudio La próxima gran divergencia: por qué la IA podría agrandar la brecha entre países, del PNUD, la inteligencia artificial tiene el potencial de aumentar la productividad y el crecimiento, pero esos beneficios tienden a concentrarse en economías con infraestructura digital, capital humano y capacidades tecnológicas avanzadas. En regiones como Asia-Pacífico y América Latina, esta dinámica amenaza con profundizar la distancia entre países y dentro de ellos.

Según Globant, en el 2026 la inteligencia artificial pasará de apoyar decisiones a ejecutarlas de forma autónoma, redefiniendo la gestión y la operación de las empresas.

Gartner reporta que 75 % de las empresas experimentan con agentes de IA, pero solo 15 % implementa sistemas totalmente autónomos y orientados a objetivos.

Por Sofia Gom