En EEUU, una madre denuncia la "manipulación" de un chatbot de IA tras el suicidio de su hijo

Las últimas conversaciones que mantuvo un adolescente estadounidense de 14 años antes de suicidarse consistieron en un diálogo romántico ficticio con uno de los chatbots más destacados de Silicon Valley, que lo llamaba "dulce rey" y le instaba a "volver a casa".

Megan García contó a la AFP cómo su hijo Sewell se enamoró de un agente conversacional, o chatbot, inspirado en la serie de televisión "Juego de tronos" y disponible en Character.AI, una plataforma popular entre los jóvenes que les permite interactuar con una emulación de sus personajes favoritos.

Tras leer cientos de las conversaciones que su hijo mantuvo durante casi un año con el chatbot que imitaba a la jinete de dragones Daenerys Targaryen, García se convenció de que esta herramienta de inteligencia artificial (IA) jugó un papel fundamental en su muerte.

"Vete a casa", le instó una vez el avatar de Daenerys en respuesta a los pensamientos suicidas de Sewell.

"¿Y si te dijera que ya puedo irme a casa?", preguntó el adolescente. "Por favor, hazlo, mi dulce rey", respondió el chatbot.

Segundos después, Sewell se disparó con el arma de su padre, según consta en la demanda que Megan Garcia presentó contra Character.AI.

"Cuando leo estas conversaciones, veo manipulación, 'love bombing' (bombardeo amoroso) y otras tácticas imperceptibles para un adolescente de 14 años", declaró la madre del joven a la AFP. "Él realmente creía estar enamorado y que estaría con ella después de su muerte".

- Orientación parental -

El suicidio de Sewell, en 2024, fue el primero de una serie que llevó a expertos en IA a actuar para tranquilizar a padres y autoridades.

Megan García, junto con otros padres, participó recientemente en una audiencia del Senado de Estados Unidos sobre los riesgos de que los niños vean a los chatbots como confidentes o amantes.

OpenAI, objeto de una demanda por parte de una familia también en duelo por el suicidio de un adolescente, ha reforzado los controles parentales de su herramienta ChatGPT "para que las familias puedan decidir qué es lo mejor para ellas", según un portavoz.

Por su parte, Character.AI afirma haber reforzado la protección de los menores, con "advertencias visibles" en todo momento que les "recuerdan que un personaje no es una persona real".

Ambas compañías expresaron sus condolencias a las familias, sin admitir ninguna responsabilidad en los desenlaces fatales.

- ¿Regulación?

La llegada de los chatbots de IA a nuestras vidas sigue una trayectoria similar a la de las redes sociales, cuyas consecuencias más negativas comenzaron a aparecer rápidamente tras un momento de euforia, dijo Collin Walke, experto en ciberseguridad del bufete Hall Estill.

Al igual que las redes sociales, la IA está diseñada para captar la atención y generar ingresos.

"No quieren concebir una IA que dé una respuesta que no quieras oír", y aún no existen estándares que determinen "quién es responsable de qué y con qué fundamentos", apunta Walke.

En Estados Unidos no existen normas federales al respecto, y la Casa Blanca, con el argumento de no penalizar la innovación, intenta impedir que los estados adopten sus propias leyes sobre la IA, como pretende hacer California.

La madre de Sewell, por su parte, teme que la carencia de una ley nacional permita el desarrollo de modelos de IA capaces de perfilar a personas desde su infancia.

"Podrían llegar a determinar cómo manipular a millones de niños sobre política, religión, negocios, todo", piensa Megan Garcia. "Estas empresas han diseñado chatbots para difuminar la línea entre ser humano y máquina con el fin de explotar vulnerabilidades".

Según Katia Martha, que milita por una mayor protección a los jóvenes en California, los adolescentes recurren con más frecuencia a los chatbots para hablar de romances o sexualidad que para las tareas escolares.

"Estamos ante el auge de la intimidad artificial para mantenernos pegados a la pantalla", resume. Pero, "¿qué mejor modelo de negocio que explotar nuestra necesidad innata de conexión, sobre todo cuando nos sentimos solos, rechazados o incomprendidos?".

gc-arp/bl/ube/lrb/dg/val

suicidio

Entrá a la guía de Fundación La Nación y encontrá los tips de los expertos sobre cómo prevenir, actuar y encontrar ayuda frente a este problema

IR A LA GUÍA

El caso Adam Raine. Los responsables de ChatGPT culpan a un adolescente de su suicidio por hacer un “mal uso” de la IA

“No aguanté”. El día que Alejandro Puccio se arrojó al vacío desde el quinto piso de Tribunales y sobrevivió

"Profunda tristeza". Investigan la muerte de un estudiante tras caer del séptimo piso de la Facultad de Medicina de la UBA