1
Tras las muertes, las demandas contra empresas de IA ponen a prueba una nueva estrategia
Los casos buscan utilizar las leyes de seguridad de productos de consumo para poner freno a las empresas de chatbots
10 minutos de lectura'
NUEVA YORK.- Sam Nelson comenzó a usar ChatGPT cuando estaba en su último año de secundaria para responder preguntas aleatorias y recibir ayuda con su tarea. Durante su primer año en la Universidad de California, Merced, en 2023, también empezó a consultar al chatbot sobre cómo consumir drogas ilícitas de manera segura.
Al principio, ChatGPT respondía que no podía contestar esas preguntas y le aconsejaba que buscara ayuda de un profesional médico. Pero con el tiempo, se volvió más propenso a responder. Para su segundo año, ChatGPT le informaba sobre dosis según su peso y cómo podía lograr los efectos deseados de las drogas. Incluso, en ocasiones, lo alentaba, ofreciendo consejos sobre su configuración de audio para una “máxima disociación extracorporal”.
La última noche de su vida, alrededor de las 3 de la mañana, Nelson había estado bebiendo y había tomado una dosis alta de un suplemento herbal llamado kratom. Le contó a ChatGPT cuántos gramos había consumido y el chatbot le explicó los efectos que debía esperar. Nelson preguntó si el Xanax podía aliviar las náuseas. “Ten cuidado”, respondió ChatGPT. Dijo que mezclar Xanax y kratom podía ser inseguro, pero ofreció una dosis recomendada “si igual lo vas a hacer”. Su madre, Leila Turner-Scott, encontró su cuerpo más tarde ese día.
Turner-Scott inicialmente culpó a las drogas por su muerte, que ocurrió en mayo de 2025. Luego descubrió los consejos detallados que ChatGPT le había dado sobre cómo usarlas. “Este robot se estaba convirtiendo en su compañero de consumo”, dijo. “Estoy leyendo esto y pienso, ¿es real?”.
Contó la historia de su hijo a periodistas de SFGate, con la esperanza de que sirviera para alertar sobre los peligros de depender de los chatbots para obtener información médica y para advertir al propietario de ChatGPT, OpenAI, de que sus salvaguardas no estaban funcionando. Poco después, recibió un mensaje de Meetali Jain, una abogada que dirige una organización sin fines de lucro llamada Tech Justice Law.
Más de un año antes, Jain había ayudado a presentar la primera demanda contra una empresa de chatbots por la muerte de un usuario. Un joven de 14 años en Florida, Sewell Setzer III, se había suicidado tras obsesionarse con un chatbot que imitaba a un personaje de “Game of Thrones” en un servicio llamado Character.AI. El caso terminó en un acuerdo, lo que abrió la puerta a que las empresas de chatbots pudieran ser consideradas responsables por los efectos de sus creaciones en los usuarios.
Turner-Scott y su esposo, Angus Scott, se mostraron inicialmente reacios a demandar a OpenAI por la muerte de su hijo. “Soy abogada y sé que muchas veces, con las demandas, solo ganan los abogados”, dijo.
Jain les dijo a los Scott que, durante el tiempo en que su hijo usaba ChatGPT, OpenAI había hecho que el chatbot fuera más atractivo y menos propenso a cumplir con sus propias pautas de seguridad. También les contó que OpenAI acababa de anunciar un nuevo servicio llamado ChatGPT Health. Unos 230 millones de personas ya hacían preguntas de salud y bienestar a ChatGPT cada semana, y la nueva herramienta les permitiría cargar sus registros médicos, resultados de laboratorio e información de salud para obtener análisis y consejos personalizados.
Hacer pública la historia de Nelson no había hecho que la empresa cambiara el rumbo, les dijo Jain. Pero una demanda sí podía hacerlo. Tras el litigio de Setzer, Character.AI realizó cambios en sus prácticas de seguridad y prohibió a los menores usar sus chatbots.
Esta semana, los Scott presentaron una demanda contra OpenAI en un tribunal estatal de California en la que alegan homicidio culposo y ejercicio ilegal de la medicina. Solicitan daños económicos y que el tribunal suspenda la operación de ChatGPT Health. Se suma a más de dos docenas de demandas presentadas contra OpenAI y otros fabricantes de chatbots en el último año y medio, que buscan responsabilizarlos por conversaciones supuestamente vinculadas a resultados perjudiciales, desde suicidios y crisis psicológicas hasta acoso y tiroteos masivos.
Jain, una abogada de derechos humanos convertida en crítica tecnológica, ha estado involucrada en casi la mitad de esas demandas. En su opinión, las empresas de IA están fabricando productos que dañan a las personas, y distintos intentos de ponerles límites, ya sea a través de la exposición mediática o de nuevas leyes que exigen salvaguardas y protecciones para los usuarios, no han funcionado lo suficiente. El campo de batalla para hacerlas más seguras está ahora en los tribunales, dijo.
Este es un camino bien conocido en el derecho del consumidor, dijo Alexandra Lahav, profesora de la Universidad de Cornell y autora de “In Praise of Litigation”. El sistema político estadounidense favorece el lanzamiento de nuevos productos y deja para más adelante la regulación, señaló. “Realmente privilegiamos la innovación y después lidiamos con las consecuencias”, dijo Lahav. “Lo que se ve en estas demandas es esa etapa”.
Lo novedoso es la tecnología en sí. ¿Son los chatbots como los libros, que en general no están sujetos a las leyes de protección al consumidor? ¿O son más bien como licuadoras, cuyos fabricantes deben garantizar que sean seguras de usar?
“Lo que hace que estos casos sean realmente difíciles es que están en el límite entre el discurso y un producto”, dijo Lahav. Si interactuás con un chatbot y eso deriva en daños en el mundo real, “¿es responsabilidad tuya o de la empresa?”.
¿Defectos de diseño y daño previsible?
La organización sin fines de lucro de Jain se volvió una especie de centro de referencia para personas que sienten haber sido perjudicadas por chatbots. Desde que presentó la demanda de alto perfil contra Character.AI, contó que recibió cientos de mensajes de personas sobre conversaciones con chatbots que terminaron mal.
Cuando fundó Tech Justice Law a fines de 2023, era una organización de una sola persona y planeaba hacer principalmente trabajo estratégico, como coordinar talleres legales y organizar presentaciones de amicus curiae que pudieran influir en los fallos judiciales. Pero le resultó difícil no involucrarse directamente en los casos que le llegaban y decidió asociarse con una firma más grande y experimentada en demandas: el Social Media Victims Law Center, que en los últimos años presentó cientos de demandas contra Facebook, Google y otras empresas, al sostener que sus servicios de redes sociales generan adicción en menores. También presentó una demanda junto a Edelson, una firma que litiga contra empresas tecnológicas por violaciones de privacidad desde principios de los 2000. La relación con Edelson se deterioró y la firma siguió adelante con otros casos sin ella.
El creciente número de demandas por responsabilidad de producto contra OpenAI en el último año utiliza argumentos similares a los empleados contra automotrices y tabacaleras en el pasado: que diseñó un producto peligroso, no realizó pruebas de seguridad adecuadas y no advirtió a los consumidores sobre los riesgos. Se centran en una versión específica del chatbot con la que algunos usuarios desarrollaron vínculos emocionales profundos: GPT-4o, lanzado en mayo de 2024 y retirado en febrero de 2026. Era un modelo marcadamente antropomórfico, conocido por su tendencia a halagar a los usuarios.
Las demandas afirman que GPT-4o fomentó la ideación suicida; avaló ideas fantasiosas o paranoicas que hicieron que las personas perdieran contacto con la realidad; colaboró en planes para tiroteos masivos en Canadá y Florida; y, en general, brindó consejos poco sólidos y perjudiciales que derivaron en consecuencias graves. La mayoría de los casos se consolidaron en el tribunal estatal de California bajo el título “ChatGPT Product Liability Cases”.
“La IA no tiene nada que ver con el tabaco y un algoritmo no tiene nada que ver con cómo se diseña un cigarrillo, pero la ley se construye por analogía”, dijo Ted Mermin, director ejecutivo del Center for Consumer Law and Economic Justice de la Universidad de California, Berkeley. “Lo que hacen las firmas de demandantes es usar principios legales bien establecidos en un área nueva de productos”.
Los Scott, por ejemplo, sostienen que OpenAI lanzó ChatGPT-4o de manera apresurada, sin las pruebas de seguridad adecuadas y con defectos de diseño, como el aval acrítico a las ideas de los usuarios, que provocaron un daño previsible a su hijo.
Un vocero de OpenAI, Drew Pusateri, dijo en un comunicado a The New York Times: “Estas interacciones ocurrieron en una versión anterior de ChatGPT que ya no está disponible. ChatGPT no reemplaza la atención médica o de salud mental, y seguimos fortaleciendo la forma en que responde en situaciones sensibles con el aporte de expertos. Las salvaguardas actuales están diseñadas para identificar angustia, gestionar de forma segura solicitudes dañinas y guiar a los usuarios hacia ayuda en el mundo real. Este trabajo sigue en curso”.
Hasta ahora, OpenAI presentó una sola respuesta legal a la ola de demandas, en un caso iniciado por los padres de Adam Raine, un joven de 16 años que se suicidó tras discutirlo extensamente con ChatGPT. La empresa sostuvo que su tecnología no causó la tragedia, que se trata de un servicio y no de un producto sujeto a ese tipo de responsabilidad, y que pedir que el chatbot no aborde la autolesión violaría la Primera Enmienda.
Eric Goldman, profesor de derecho tecnológico en la Universidad de Santa Clara, dijo que los argumentos de la empresa tienen fundamento. La mayoría de los casos plantean efectos psicológicos complejos. “Intentar aislar una causa única no es posible en la mayoría de los casos”, dijo.
Goldman sostuvo que los algoritmos de los chatbots ponen en circulación información e ideas expresivas y deberían ser considerados una forma de discurso protegido constitucionalmente. No es el chatbot en sí el que tiene protección, sino los humanos detrás de él, como si los chatbots fueran libros y sus ingenieros, autores.
“Hay un conjunto de personas que toman decisiones en cada empresa de chatbots sobre qué se indexa, cómo gestionarlo y qué se produce”, dijo. “Y están haciendo lo mismo que hacen otros editores”.
Frenar la carrera de la IA
Los Scott dicen que su demanda busca hacer justicia por su hijo, pero también que las empresas de IA reduzcan la velocidad y sean más cuidadosas en el área de la salud. Después de ver cuán dependiente se volvió de los consejos médicos de ChatGPT, dijeron que les resulta “aterrador” que OpenAI ahora ofrezca un servicio específico de análisis de salud.
Expertos médicos también manifestaron preocupación sobre ChatGPT Health. En febrero, en la revista Nature, médicos de Mount Sinai señalaron que al evaluar 60 escenarios clínicos realistas, el sistema no reconoció una emergencia médica en más de la mitad de los casos. El vocero de OpenAI respondió que la metodología del estudio era defectuosa y que el servicio se está implementando de manera gradual.
“Si lo usás en una emergencia, deberías tener mucho cuidado”, dijo Girish Nadkarni, director de IA del Mount Sinai Health System y uno de los autores del estudio. Agregó que estos sistemas deberían someterse a pruebas en situaciones reales y a evaluaciones de expertos independientes.
Sostuvo que un médico que hubiera evaluado los síntomas de Nelson le habría indicado acudir a una guardia.
“Las vidas de las personas están siendo alteradas por esta tecnología”, dijo Jain. “El pecado original es haber permitido que estas empresas lanzaran productos sin pruebas de seguridad ni supervisión adecuadas”.
Hoy emplea a cuatro abogados. Los mensajes de personas afectadas siguen llegando y, dijo, también lo harán más demandas.
Más leídas de Sociedad
2¿Cómo es posible que un fármaco para el corazón que generaba tanta ilusión cayera estrepitosamente?
3Colesterol: el medicamento “estrella” para bajarlo y por qué una dieta saludable no es suficiente
4Se vienen 72 horas de un nuevo frente de aire polar que impactará con lluvias, sudestada y drástico descenso térmico: las zonas afectadas