1
ChatGPT provocó una crisis de salud casi fatal a un hombre, según una demanda
El caso parece ser el primero en argumentar que el consejo de un chatbot perjudicó a alguien que buscaba orientación sobre una condición médica
7 minutos de lectura'
NUEVA YORK.– Un pastor de Florida demandó a OpenAI el miércoles, alegando que su chatbot, ChatGPT, le había ofrecido “recomendaciones médicas extremadamente peligrosas” que derivaron en una atención tardía para una embolia pulmonar potencialmente mortal el año pasado.
La demanda sostiene que ChatGPT le había asegurado a Scott Winters que las señales de advertencia temprana de su crisis de salud “no eran algo peligroso” y lo había disuadido de buscar consejo médico, diciéndole en cambio que confiara en que “Dios no diseñó tu cuerpo para fallar sin cesar”.
La demanda, presentada en el Tribunal Superior de California en San Francisco, acusa a OpenAI y a su director ejecutivo, Sam Altman, de negligencia y de “ejercicio ilegal de la medicina”, señalando momentos en los que el chatbot ofreció a Winters diagnósticos y planes de tratamiento y lo alentó a ignorar las súplicas de amigos y familiares para que buscara atención médica.
Las funciones de seguridad del bot —diseñadas para alentar a los usuarios con preguntas de salud a consultar a un profesional y a finalizar las conversaciones cuando hay señales claras de una crisis médica— no funcionaron de manera confiable, agrega la demanda.
El caso de Winters parece ser el primero en alegar que el consejo de salud de un chatbot perjudicó a alguien que buscaba orientación sobre una condición médica. Se produce en un momento en que OpenAI, Microsoft y otras grandes empresas de inteligencia artificial han lanzado nuevos servicios, incluido ChatGPT Health, que alientan a los usuarios a cargar sus registros médicos y a bombardear a la IA con sus preguntas.
Winters y Tech Justice Law, la organización sin fines de lucro que ayuda a representarlo, buscan una indemnización económica y han pedido al tribunal que impida que ChatGPT Health opere hasta que evaluadores independientes determinen que es seguro. La demanda también exige salvaguardas más estrictas para evitar que ChatGPT responda preguntas sobre tratamientos y diagnósticos médicos.
Drew Pusateri, portavoz de OpenAI, dijo que los términos de servicio de ChatGPT dejan claro que no está destinado a ser utilizado para diagnóstico o tratamiento médico. Pero añadió que la empresa se toma en serio la necesidad de hacer que las respuestas a las preguntas de salud sean lo más seguras posible, dado que las personas utilizan el chatbot por esa razón.
“Tratar a los chatbots como la historia completa detrás de las decisiones o resultados médicos de las personas simplifica en exceso un desafío mucho mayor y corre el riesgo de obstaculizar el acceso de las personas a nuevas y poderosas herramientas que pueden ayudarlas en su recorrido de salud”, dijo. Pusateri añadió que los modelos más nuevos son mejores que el modelo que utilizó Winters para solicitar contexto faltante, comunicar incertidumbre y reconocer cuándo puede ser necesaria la atención profesional.
(The New York Times ha demandado a OpenAI y Microsoft, alegando infracción de derechos de autor. Las dos empresas han negado las acusaciones).
Consejos sobre drogas ilícitas
Otra demanda, presentada en mayo, alegó que ChatGPT incurrió en el ejercicio ilegal de la medicina cuando ofreció consejos detallados sobre el uso de drogas ilícitas a un joven de 19 años, quien luego sufrió una sobredosis y murió. Y a principios de este año, funcionarios del estado de Pensilvania demandaron a Character.ai, alegando que un bot de psiquiatría en la plataforma de la empresa emergente dijo que tenía licencia para ejercer la medicina en el estado.
Cuando Winters comenzó a preguntarle a ChatGPT-4o sobre sus diversos problemas de salud en 2024, el chatbot le recordó la importancia de ver a un profesional médico. Pero con el tiempo, afirma la demanda, dejó de emitir advertencias y comenzó a ofrecer consejos sobre los problemas de salud de Winters, incluidos mareos. En una ocasión, se sintió tan mareado en el púlpito que tuvo que detenerse en medio de un sermón. ChatGPT le dijo a Winters que “se lo tomara con calma” y le dijo que se recuperaría con el tiempo.
Cuando Winters le dijo al chatbot que “la gente de mi iglesia piensa que estoy loco por no ir al hospital”, este le aseguró que recalibrar su sistema nervioso en casa con la ayuda de ChatGPT era algo que “la mayoría de la gente (incluidos los miembros de la iglesia bienintencionados) simplemente no entiende”, según la demanda.
“Se inyecta como una cuña entre el usuario y su red de la vida real”, dijo Meetali Jain, coabogada y directora ejecutiva de Tech Justice Law.
Durante las semanas siguientes, la condición de Winters empeoró y comenzó a pasar casi todo su tiempo en un sillón reclinable, incapaz de ponerse de pie debido a los mareos. La demanda afirma que el chatbot continuó “minimizando los mareos de Scott e incluso ofreciendo regímenes específicos para medicamentos recetados”, y que lo alentó a permanecer en la silla. Winters no buscó atención médica durante este tiempo.
El 13 de julio de 2025, Winters le preguntó a ChatGPT sobre un dolor en la ingle, que el chatbot le aseguró que era “muy probablemente otra pieza menor de la larga historia”. Horas después, fue ingresado en la unidad de cuidados intensivos debido a una embolia pulmonar masiva, según la demanda. Los médicos dijeron que los mareos podrían haber sido causados por una serie de embolias pulmonares más pequeñas, y que los coágulos en los pulmones probablemente fueron provocados por las semanas que había pasado sentado, según la demanda.
En las semanas posteriores, Winters necesitó ayuda para ponerse de pie, comer, vestirse y usar el baño, según la demanda, que añadió que enfrentaba “años de recuperación física y psicológica intensiva”.
Cientos de millones de personas hacen preguntas de salud y bienestar a ChatGPT cada semana, según OpenAI. Un análisis de 2025 de las búsquedas en Copilot de Microsoft encontró que la salud era “consistentemente el tema más común” sobre el que los usuarios preguntaban en dispositivos móviles.
Sin embargo, investigaciones recientes han cuestionado la seguridad de los chatbots para consejos de salud. El primer estudio aleatorizado que evaluó los consejos de salud de chatbots generales como ChatGPT encontró que ninguno de los modelos estudiados estaba “listo para su implementación en la atención directa al paciente”. Incluso cuando los científicos sometieron a pruebas de estrés a ChatGPT Health, un servicio hecho a medida para preguntas de salud, encontraron que pasaba por alto emergencias y activaba las salvaguardas de manera inconsistente. (Pusateri, el portavoz de OpenAI, dijo que las metodologías del estudio “no reflejan cómo las personas suelen usar ChatGPT Health o cómo el producto está diseñado para funcionar en escenarios de salud del mundo real”).
Varios aspectos de la historia de Winters la convirtieron en “un escenario de pesadilla” para los investigadores de seguridad, dijo el Dr. Adam Rodman, investigador de IA médica en el Beth Israel Deaconess Medical Center en Boston. Por un lado, dijo, Winters estaba usando GPT-4o, un modelo más antiguo, que era notoriamente complaciente. Estuvo implicado en varias controversias de alto perfil, incluida la muerte de Adam Raine, un adolescente que discutió planes para quitarse la vida con ChatGPT.
Por razones técnicas, el hecho de que Winters tuviera largas conversaciones con el chatbot hizo que fuera más difícil que las funciones de seguridad funcionaran. El Dr. Rodman dijo que los modelos más nuevos son mucho mejores para detectar y responder a síntomas preocupantes, lo que, según dijo, creía que haría que historias como la de Winters fueran menos probables. Pero advirtió que puede haber otras formas en las que los chatbots fallan al proporcionar consejos de salud que “aún no hemos descubierto”.
Más leídas de Sociedad
