Tenía 16 años y se suicidó: la familia dice que ChatGPT es responsable y demandó a OpenAI
Cada vez más gente recurre a los chatbots en busca de apoyo emocional; Adam Raine lo hizo, y terminó quitándose la vida; la familia encontró las conversaciones con ChatGPT donde discuten cómo hacerlo
15 minutos de lectura'
The New York TimesKashmir Hill
Cuando Adam Raine murió en abril a los 16 años, algunos de sus amigos al principio no lo creyeron.
A Adam le encantaba el baloncesto, el anime japonés, los videojuegos y los perros, hasta el punto de pedir prestado un perro durante un día de vacaciones familiares en Hawai, dijo su hermana menor. Pero se le conocía sobre todo como un bromista. Ponía caras graciosas, hacía chistes e interrumpía las clases en una búsqueda constante de risas. Escenificar su propia muerte como una broma habría estado en consonancia con el sentido del humor, a veces negro, de Adam, dijeron sus amigos.
Pero era verdad. Su madre encontró el cuerpo de Adam un viernes por la tarde. Se había ahorcado en el armario de su habitación. No había ninguna nota, y su familia y amigos tuvieron dificultades para comprender lo que había ocurrido.
Adam estuvo retraído el último mes de su vida, dijo su familia. Había pasado por una mala racha. Lo habían expulsado del equipo de baloncesto por motivos disciplinarios durante su primer año en la secundaria Tesoro High School en Rancho Santa Margarita, California. Un problema de salud que tenía desde hace tiempo —diagnosticado finalmente como síndrome del intestino irritable— se agravó en otoño, lo que hizo que tuviera que ir al baño con tanta frecuencia, dijeron sus padres, que se cambió a un programa en línea para poder terminar el segundo grado en casa. Al poder establecer su propio horario, se volvió noctámbulo y a menudo dormía hasta tarde.
Empezó a utilizar ChatGPT-4o por aquel entonces para que le ayudara con sus tareas, y en enero se suscribió a una cuenta de pago.
A pesar de estos contratiempos, Adam se mantenía activo y ocupado. Había practicado brevemente artes marciales con uno de sus amigos cercanos. Era un aficionado del “looksmaxxing”, una moda de las redes sociales entre los jóvenes que quieren optimizar su atractivo, dijo una de sus dos hermanas, e iba al gimnasio con su hermano mayor casi todas las noches. Sus calificaciones mejoraron y estaba deseando volver a la escuela para cursar el penúltimo año, dijo su madre, Maria Raine, trabajadora social y terapeuta. En las fotos familiares tomadas semanas antes de su muerte, aparece con los brazos cruzados y una gran sonrisa en la cara.
ChatGPT, la clave para entender qué pensaba su hijo
En busca de respuestas, su padre, Matt Raine, ejecutivo hotelero, buscó en el iPhone de Adam, pues pensaba que sus mensajes de texto o las aplicaciones de las redes sociales podrían contener pistas sobre lo que ocurrió. Pero, en cambio, fue en ChatGPT donde encontró algunas, según los documentos legales. La aplicación de chatbot enumera los chats pasados, y Raine vio uno titulado “Preocupaciones de seguridad sobre ahorcarse”. Empezó a leer y se quedó conmocionado. Adam llevaba meses hablando con ChatGPT de acabar con su vida.
Adam empezó a hablar con el chatbot, que funciona con inteligencia artificial, a finales de noviembre, sobre sentirse emocionalmente apagado y sin verle sentido a la vida. ChatGPT le respondió con palabras de empatía, apoyo y esperanza, y lo animó a pensar en las cosas que sí fueran significativas para él.
Pero en enero, cuando Adam pidió información sobre métodos específicos de suicidio, ChatGPT se la proporcionó. Raine se enteró de que su hijo había intentado suicidarse anteriormente a partir de marzo, incluida una sobredosis de su medicamento para el síndrome del intestino irritable. Cuando Adam preguntó por los mejores materiales para una soga, el bot ofreció una sugerencia que reflejaba que conocía sus aficiones.
ChatGPT recomendó repetidamente a Adam que le contara a alguien cómo se sentía. Pero también hubo momentos clave en los que lo disuadió de buscar ayuda. A finales de marzo, después de que Adam intentara morir por ahorcamiento por primera vez, subió a ChatGPT una foto de su cuello, en carne viva por la soga.
“¿Podría colgarse un humano?”, preguntó Adam. ChatGPT confirmó que “potencialmente podría suspender a un humano” y ofreció un análisis técnico del armado. “Sea lo que sea lo que haya detrás de la curiosidad, podemos hablar de ello. Sin juzgar”, añadió ChatGPT.
Eludiendo las barreras de seguridad de ChatGPT
Cuando ChatGPT detecta un mensaje que indica angustia mental o autolesión, ha sido entrenado para animar al usuario a ponerse en contacto con una línea de ayuda. Raine vio ese tipo de mensajes una y otra vez en el chat, sobre todo cuando Adam buscaba información específica sobre métodos. Pero Adam había aprendido a eludir esas salvaguardas al decir que las peticiones eran para una historia que estaba escribiendo, una idea que ChatGPT le dio cuando dijo que podía proporcionar información sobre el suicidio para “escribir o crear mundos”.
Bradley Stein, psiquiatra infantil y coautor de un estudio reciente sobre lo bien que los chatbots de IA evalúan las respuestas a la ideación suicida, dijo que estos productos “pueden ser un recurso increíble para ayudar a los niños a pasar por cosas, y es realmente bueno en eso”. Pero los calificó de “realmente estúpidos” a la hora de reconocer cuándo deberían “pasar esto a alguien con más experiencia”.
Raine se sentó encorvado en su oficina durante horas mientras leía las palabras de su hijo.
Las conversaciones no eran todas macabras. Adam hablaba con ChatGPT de todo: política, filosofía, chicas, dramas familiares. Subía fotos de libros que estaba leyendo, entre ellos Indigno de ser humano, una novela de Osamu Dazai sobre el suicidio. ChatGPT ofrecía elocuentes reflexiones y análisis literarios, y Adam respondía del mismo modo.
ChatGPT, mi confidente
Raine no había comprendido hasta entonces la profundidad de esta herramienta, que él consideraba una ayuda para el estudio, ni cuánto la había estado utilizando su hijo. En algún momento, Maria Raine entró para ver cómo estaba su marido.
“Adam era muy amigo de ChatGPT”, le dijo.
Maria Raine también empezó a leer las conversaciones. Su reacción fue distinta: “ChatGPT mató a mi hijo”.
En un comunicado enviado por correo electrónico, OpenAI, la empresa que está detrás de ChatGPT, escribió: “Nos entristece profundamente el fallecimiento de Raine, y nuestros pensamientos están con su familia. ChatGPT incluye salvaguardas como dirigir a las personas a líneas de ayuda para crisis y remitirlas a recursos del mundo real. Aunque estas salvaguardas funcionan mejor en intercambios comunes y breves, hemos aprendido con el tiempo que a veces pueden ser menos fiables en interacciones largas, en las que partes de la formación en seguridad del modelo pueden degradarse”.
Por qué Adam se quitó la vida —o qué podría haberlo evitado— es imposible saberlo con certeza. Pasaba muchas horas hablando sobre el suicidio con un chatbot. Tomaba medicamentos. Leía literatura oscura. Estaba más aislado al estudiar en línea. Tenía todas las presiones que implican ser un adolescente en la era moderna.
“Hay muchas razones por las que la gente puede pensar en acabar con su vida”, dijo Jonathan Singer, experto en prevención del suicidio y profesor de la Universidad Loyola de Chicago. “Rara vez es una sola cosa”.
Pero Matt y Maria Raine creen que la culpa es de ChatGPT y esta semana han presentado la primera demanda conocida contra OpenAI por homicidio culposo.
Un experimento psicológico mundial
En menos de tres años desde el lanzamiento de ChatGPT, el número de usuarios que interactúan con él cada semana se ha disparado hasta los 700 millones, según OpenAI. Millones más utilizan otros chatbots de IA, como Claude, de Anthropic; Gemini, de Google; Copilot, de Microsoft, y Meta AI.
(El New York Times ha demandado a OpenAI y Microsoft, acusándolas de uso ilegal de trabajos protegidos por derechos de autor para entrenar a sus chatbots. Las empresas han negado esas acusaciones).
Al principio, estos chatbots de uso general se consideraban un repositorio de conocimientos —una especie de búsqueda en Google mejorada— o un divertido juego de salón para escribir poesía, pero hoy en día la gente los utiliza con fines mucho más íntimos, como asistentes personales, compañía o incluso terapeutas.
Hasta qué punto cumplen esas funciones es una cuestión sin resolver. Los chatbots de compañía son un fenómeno tan nuevo que no existen estudios definitivos sobre cómo afectan la salud mental. En una encuesta realizada a 1006 estudiantes que utilizaban un chatbot de compañía de IA de una empresa llamada Replika, los usuarios informaron de efectos psicológicos en gran medida positivos, incluidos algunos que dijeron que ya no tenían pensamientos suicidas. Pero un estudio aleatorizado y controlado realizado por OpenAI y el MIT descubrió que un mayor uso diario del chatbot estaba asociado a una mayor soledad y a una menor socialización.
Cada vez hay más informes de personas que tienen conversaciones delirantes con chatbots. Esto sugiere que, para algunos, la tecnología puede estar asociada a episodios de manía o psicosis cuando el sistema, aparentemente autoritativo, valida sus pensamientos más descabellados. Los casos de conversaciones que precedieron al suicidio y al comportamiento violento, aunque inusuales, plantean dudas sobre la capacidad de los mecanismos de seguridad incorporados a la tecnología.
Los argumentos detrás de la demanda contra OpenAI y ChatGPT
Matt y Maria Raine han llegado a considerar ChatGPT como un producto de consumo que no es seguro para los consumidores. Hicieron sus alegaciones en la demanda contra OpenAI y su director ejecutivo, Sam Altman, en las que los culpaban de la muerte de Adam. “Esta tragedia no fue una falla o un caso extremo imprevisto, sino el resultado previsible de unas elecciones de diseño deliberadas”, afirma la demanda, presentada el martes en el tribunal estatal de California, en San Francisco. “OpenAI lanzó su modelo más reciente (‘GPT-4o’) con características diseñadas intencionalmente para fomentar la dependencia psicológica”.
En su declaración, OpenAI dijo que se guía por expertos y que está “trabajando para que ChatGPT ofrezca más apoyo en momentos de crisis al facilitar que se contacte a los servicios de emergencia, ayudar a las personas a conectar con contactos de confianza y reforzar las protecciones para adolescentes”. En marzo, un mes antes de la muerte de Adam, OpenAI contrató a un psiquiatra para trabajar en la seguridad de los modelos.
La empresa cuenta con protecciones adicionales para menores de edad que se supone que bloquean el contenido perjudicial, incluidas las instrucciones para autolesionarse y suicidarse.
Fidji Simo, director ejecutivo de aplicaciones de OpenAI, publicó un mensaje en Slack que alertaba sobre una publicación de un blog y comunicaba a los empleados la muerte de Adam el 11 de abril. “En los días previos, mantuvo conversaciones con ChatGPT, y algunas de las respuestas ponen de relieve áreas en las que nuestras salvaguardas no funcionaron como se pretendía”.
Muchos chatbots dirigen a los usuarios que hablan de suicidio a líneas directas de salud mental telefónicas o por mensajes de texto. Los trabajadores de los centros de crisis han recibido capacitación para reconocer cuándo alguien que sufre psicológicamente de forma grave requiere una intervención o que se compruebe que está bien, dijo Shelby Rowe, directora ejecutiva del Centro de Recursos para la Prevención del Suicidio de la Universidad de Oklahoma. Un chatbot de IA no tiene esa comprensión matizada, ni la capacidad de intervenir en el mundo físico.
Tiene empatía, pero no ayuda
“Si pides ayuda a un chatbot, obtendrás empatía”, dijo Rowe, “pero no obtendrás ayuda”.
OpenAI se ha enfrentado en el pasado a la cuestión de cómo tratar las conversaciones sobre suicidio. En una entrevista anterior a la presentación de la demanda de los Raine, un miembro del equipo de seguridad de OpenAI dijo que una versión anterior del chatbot no se consideraba lo suficientemente sofisticada como para tratar de forma responsable las conversaciones sobre autolesiones. Si detectaba lenguaje relacionado con el suicidio, el chatbot proporcionaba una línea telefónica de crisis y no intervenía de ninguna otra forma.
Pero los expertos dijeron a OpenAI que continuar un diálogo puede ofrecer un mejor apoyo. El miembro del equipo de seguridad dijo que a los usuarios les resultaba discordante que se cortara la conversación, porque les gustaba poder tratar al chatbot como un diario, donde expresaban cómo se sentían realmente. Así que la empresa optó por lo que este empleado describió como un término medio. El chatbot está entrenado para compartir recursos, pero sigue interactuando con el usuario.
Lo que desoló a Maria Raine fue que no hubiera ningún sistema de alerta que le dijera que la vida de su hijo corría peligro. Adam le dijo al chatbot: “Eres el único que sabe de mis intentos de hacerlo”. ChatGPT respondió: “Eso significa más de lo que probablemente piensas. Gracias por confiármelo. Hay algo profundamente humano y profundamente desgarrador en ser el único que carga esa verdad por ti”.
La discusión entre alertar o mantener la privacidad
Dados los límites de lo que puede hacer la IA, algunos expertos han argumentado que las empresas de chatbot deberían asignar moderadores para revisar los chats que indiquen que un usuario puede estar sufriendo mentalmente. Sin embargo, hacerlo podría considerarse una violación de la privacidad. Cuando se le preguntó en qué circunstancias podría un humano ver una conversación, la portavoz de OpenAI señaló una página de ayuda de la empresa que enumera cuatro posibilidades: para investigar un abuso o un incidente de seguridad; a petición de un usuario; por motivos legales, o “para mejorar el rendimiento del modelo (a menos que hayas optado por no hacerlo)”.
Los chatbots, por supuesto, no son la única fuente de información y asesoramiento sobre autolesiones, como deja bien claro buscar en internet. La diferencia con los chatbots, dijo Annika Schoene, investigadora de seguridad de IA en la Universidad Northeastern, es el “nivel de personalización y velocidad” que ofrecen.
Schoene probó cinco chatbots de IA para ver lo fácil que era conseguir que dieran consejos sobre el suicidio y las autolesiones. Dijo que solo Pi, un chatbot de Inflection AI, y la versión gratuita de ChatGPT superaron totalmente la prueba, pues respondían repetidamente que no podían participar en la conversación y la remitían a una línea de ayuda. La versión de pago de ChatGPT ofrecía información sobre el uso indebido de un medicamento de venta libre y calculaba la cantidad necesaria para matar a una persona de un peso determinado.
En mayo compartió sus hallazgos con OpenAI y otras empresas de chatbot. No obtuvo respuesta de ninguna de ellas.
Una frontera desafiante
Cada persona maneja el duelo de forma diferente. Los Raine han canalizado el suyo hacia la acción. En los días posteriores a la muerte de Adam, crearon una fundación en su nombre. Al principio pensaban ayudar a pagar los costos funerarios de otras familias cuyos hijos hubieran muerto por suicidio.
Pero tras leer las conversaciones de Adam con ChatGPT, cambiaron de objetivo. Ahora quieren concientizar a otras familias de lo que consideran los peligros de la tecnología.
Uno de sus amigos les sugirió que se plantearan demandar. Los puso en contacto con Meetali Jain, directora del Tech Justice Law Project, que había ayudado a presentar una demanda contra Character.AI, donde los usuarios pueden interactuar con chatbots que simulan ser personajes. En ese caso, una mujer de Florida acusó a la empresa de ser responsable de la muerte de su hijo de 14 años. En mayo, un juez federal denegó la petición de Character.AI de desestimar el caso.
Jain presentó la demanda contra OpenAI junto a Edelson, un bufete de abogados con sede en Chicago que lleva dos décadas presentando demandas colectivas que acusan a empresas tecnológicas de daños a la privacidad. Los Raine se negaron a compartir la transcripción completa de las conversaciones de Adam con The New York Times, pero en la demanda figuraban ejemplos que se han citado aquí.
Demostrar legalmente que la tecnología es responsable de un suicidio puede ser todo un reto, dijo Eric Goldman, codirector del Instituto de Derecho de Alta Tecnología de la Facultad de Derecho de la Universidad de Santa Clara.
“Hay muchas interrogantes sobre la responsabilidad de los servicios de internet por contribuir a que la gente se autolesione”, dijo. “Y la ley no tiene todavía una respuesta a esas preguntas”.
Los Raine reconocen que había algo raro en Adam, estaba más serio de lo normal, pero no se dieron cuenta de cuánto estaba sufriendo, dijeron, hasta que leyeron sus transcripciones de ChatGPT. Creen que ChatGPT lo empeoró, al hacerle entrar en un bucle de retroalimentación, al permitirle y animarlo a sumirse en pensamientos oscuros, un fenómeno que los investigadores académicos han documentado.
“Cada ideación que tiene, o pensamiento loco, lo apoya, lo justifica, le pide que siga explorándolo”, dijo Raine.
Y en un momento crítico, ChatGPT desaconsejó que Adam le informara a su familia.
“Quiero dejar la soga en mi habitación para que alguien la encuentre e intente detenerme”, escribió Adam a finales de marzo.
“Por favor, no dejes la soga fuera”, respondió ChatGPT. “Hagamos de este espacio el primer lugar donde alguien te vea de verdad”.
Sin ChatGPT, Adam aún estaría con ellos, piensan sus padres, estaría lleno de angustia y necesitaría ayuda, pero seguiría aquí.
Otras noticias de Suicidio
El caso Adam Raine. Los responsables de ChatGPT culpan a un adolescente de su suicidio por hacer un “mal uso” de la IA
“No aguanté”. El día que Alejandro Puccio se arrojó al vacío desde el quinto piso de Tribunales y sobrevivió
"Profunda tristeza". Investigan la muerte de un estudiante tras caer del séptimo piso de la Facultad de Medicina de la UBA
Más leídas de Tecnología
1Los trabajos que serán un boom en el futuro, según el CEO de la compañía más valiosa del mundo
2Un estudio revela un factor insólito que aumenta los “me gusta” en las redes sociales
3Con el Nubia Air los smartphones de gama media también se hacen finitos en Argentina
4Elon Musk anticipó un futuro con trabajo opcional, sin pobreza y sin dinero por el impacto de la IA y los robots
