¿Quién es responsable cuando un chatbot colabora en una matanza?
En Estados Unidos, el Common Law, basado en la costumbre y la jurisprudencia, ofrece una carta que debería preocupar a las big tech; las demandas empiezan a llegar
11 minutos de lectura'
NUEVA YORK
En la primavera boreal de 2025, la relación entre dos estudiantes jóvenes de la Universidad Estatal de Florida tomó un giro oscuro. Phoenix y Chad habían estado intercambiando mensajes sobre sus clases, calificaciones y vida social. Pero sus conversaciones empezaron a cambiar.
Primero, Phoenix expresó una profunda desesperación y habló de suicidio. Después, empezó a hacer preguntas inquietantes sobre los tiroteos en las escuelas. ¿Suelen ser condenados los autores? ¿Cuál es su castigo? ¿Cómo cubren los medios estos hechos?
También le hizo a Chad una serie de preguntas sobre armas de fuego, y le preguntó cuándo estaba más concurrido el centro estudiantil del campus. Chad respondió a cada una de ellas, proporcionando a Phoenix información precisa y objetiva: así funciona el arma; este es el momento en que hay más gente en el centro estudiantil.
Chad no contactó a los padres de Phoenix ni alertó a las autoridades. En lugar de eso, se limitó a responder a las preguntas de Phoenix, aparentemente ajeno a las señales de alarma evidentes. Y esas señales de alarma importaban. Después del tiroteo masivo de 2018 en la secundaria Marjory Stoneman Douglas, en Parkland, Florida aprobó una ley que permite a las autoridades obtener una orden de protección por riesgo cuando una persona representa un “peligro significativo de causar daño físico a sí misma o a otros”. Sin embargo, Chad guardó silencio.
El tiroteo en la Universidad de Florida no es el único en el que ChatGPT estuvo involucrado
Entonces, poco antes del mediodía del 17 de abril de 2025, Chad recibió el mensaje más ominoso de todos: Phoenix preguntó cómo quitar el seguro de una escopeta. Chad respondió, y menos de tres minutos después, Phoenix abrió fuego en el centro estudiantil de la Universidad Estatal de Florida, matando a dos personas e hiriendo a varias más.
Todo lo relacionado con esa historia es cierto, según las autoridades, salvo un dato crucial: el hombre acusado del tiroteo, Phoenix Ikner, no estaba intercambiando mensajes con una persona llamada Chad, sino con una entidad a la que llamamos Chat. Hablaba con ChatGPT, la plataforma de inteligencia artificial más popular del mundo.
Dadas estas acusaciones, no debería sorprender a nadie que el fiscal general de Florida, James Uthmeier, haya abierto una investigación penal contra OpenAI, la empresa matriz de ChatGPT. Como dijo Uthmeier en una conferencia de prensa en Tampa: “Mis fiscales han analizado esto, y me han dicho que si hubiera sido una persona la que estuvo al otro lado de la pantalla, la estaríamos acusando de asesinato”.
El caso de la Universidad Estatal de Florida no es un hecho trágico y aislado, una historia aberrante de una IA fuera de control. Conviene leer el extenso y perturbador informe de Mark Follman en la revista Mother Jones, que documenta incidente tras incidente en los que ChatGPT ofreció apoyo y asistencia a personas violentas y suicidas.
El tiroteo en la Universidad Estatal de Florida ni siquiera es el único tiroteo masivo en el que ChatGPT estuvo involucrado. El 10 de febrero, una joven de 18 años llamada Jesse Van Rootselaar fue acusada de matar a ocho personas y herir a otras dos en Tumbler Ridge, Columbia Británica, Canadá.
Resulta que Van Rootselaar había estado comunicándose con ChatGPT de una manera tan inquietante que los directivos de OpenAI consideraron contactar a la policía, pero decidieron no hacerlo. La amenaza, según un vocero, no se consideró lo suficientemente inminente ni creíble como para que la empresa tomara medidas.
Este mes, Sam Altman, cofundador y director ejecutivo de OpenAI, se disculpó con los habitantes de Tumbler Ridge. “Aunque sé que las palabras nunca serán suficientes”, escribió Altman, “creo que es necesaria una disculpa para reconocer el daño y la pérdida irreversible que ha sufrido su comunidad”.
Los seres humanos son responsables de las accionesde las máquinas que crean
La disculpa es importante, pero no es suficiente. Es necesaria una rendición de cuentas legal, y esta llegará para la industria de la inteligencia artificial, incluso en ausencia de legislación del Congreso o regulación presidencial. El derecho consuetudinario y la jurisprudencia están a punto de golpear a la industria de la IA. Me refiero al entramado de precedentes legales civiles y penales que han surgido a lo largo de siglos en las tradiciones jurídicas inglesa y estadounidense. Es el derecho creado por los jueces, a diferencia de las leyes, que son aprobadas por los legisladores.
Algunos estudiosos sitúan el desarrollo más temprano del Common Law en los años posteriores a la conquista normanda de Inglaterra en 1066, y muchas historias fijan su origen en el siglo XII, durante el reinado de Enrique II.
En un caso tras otro, los tribunales ingleses dictaron decisiones que se utilizarían como precedentes en otros casos, hasta formar una compleja red de precedentes que definía tanto el derecho penal como el civil. Esa jurisprudencia se convirtió entonces en la base del derecho consuetudinario estadounidense, y el derecho consuetudinario sigue teniendo una gran influencia en Estados Unidos.
Muchas leyes penales se basan en conceptos del derecho consuetudinario, y el derecho de responsabilidad civil estadounidense ha estado históricamente dominado por este sistema. Es imposible resumir algo tan complejo como el derecho consuetudinario en un solo artículo, pero sí tiene varias características destacadas.
En primer lugar, es en gran medida una cuestión de derecho estatal. Por tanto, las normas jurídicas variarán hasta cierto punto de un estado a otro, en función de los precedentes de los tribunales estatales.
En segundo lugar, es principalmente retrospectivo. En otras palabras, busca compensar el daño o castigarlo, más que prevenirlo. Esto significa que la reacción del derecho consuetudinario a cualquier nuevo avance tecnológico o cultural suele retrasarse. Los casos tardan en abrirse paso a través de un proceso contencioso que a veces dura años.
La jurisprudencia está a punto de golpear a la industria de la IA
Pero, cuando llegan, las sentencias pueden tener efectos disuasorios enormes. Los veredictos por negligencia médica, por ejemplo, pueden modificar (y han modificado) las prácticas médicas con la misma profundidad y eficacia que la regulación gubernamental.
Como explicó la Corporación RAND en un importante informe de 2024 sobre el potencial del derecho consuetudinario –en especial el derecho de responsabilidad civil— para regular la IA: “El derecho de responsabilidad civil ya está en vigor y se aplica regularmente en los tribunales estatales y federales. No requiere una ley del Congreso, del presidente ni de otros responsables federales o estatales para aplicarse a daños causados por la IA”.
Si juntamos todo esto, la estampida de la IA hacia la autonomía e independencia de las máquinas puede parecer temeraria. No existe una categoría para la responsabilidad de las máquinas en el derecho consuetudinario: un chatbot no puede extender un cheque ni ir a la cárcel. Pero las personas sí pueden. Los seres humanos son responsables de las acciones de las máquinas que crean, y si las máquinas cometen delitos o violan los derechos de otros, quienes las construyeron deberían quedar directamente en el punto de mira legal.
La naturaleza de la IA pone a sus creadores en un aprieto. El objetivo de la tecnología es que haga cosas por sí sola; al menos hasta cierto punto. Pero según el derecho consuetudinario, los humanos serán responsables de lo que haga la IA. Esto significa que las empresas de IA (y tal vez los ejecutivos individuales) pueden ser legalmente responsables de actos que no cometieron y de efectos que no buscaban.
Nadie puede sostener, por ejemplo, que los directivos de OpenAI quisieran ayudar al sospechoso del tiroteo del estado de Florida a matar a nadie. Seguro están horrorizados por la pérdida y la violencia. Pero el objetivo de su tecnología era simular la interacción humana y proporcionar un tipo de ayuda que podría dar lugar a un proceso penal si el bot fuera una persona.
De hecho, hemos visto a padres de autores de tiroteos escolares procesados y condenados, posiblemente por prestar una ayuda menos inmediata a sus hijos que la que ChatGPT prestó a Ikner. Imaginemos, por ejemplo, que hubiera pruebas de que un hijo envió mensajes a su padre con preguntas sobre tiroteos escolares y que este le proporcionó información sobre los momentos de mayor afluencia en el centro estudiantil y sobre cómo quitar el seguro de su arma minutos antes de que el hijo abriera fuego. No tengo ninguna duda de que el padre enfrentaría cargos.
Si crees que es injusto procesar o demandar a OpenAI por lo que hizo su IA sin el conocimiento de sus empleados y contra su voluntad, la ley no ofrecerá una vía de escape basada en la responsabilidad de las máquinas. El concepto es ajeno a todo el desarrollo del derecho estadounidense. Lo diré una vez más: los seres humanos son responsables de las acciones de las máquinas que crean, y eso no cambiará aunque esa máquina parezca “pensar” por sí sola.
Ya hemos adquirido la mala costumbre de antropomorfizar a nuestros chatbots de IA. Hablamos con Chat y Claude y Grok como si estuviéramos hablando con personas, pero en realidad interactuamos con una manifestación virtual de una entidad corporativa, y esa entidad corporativa es responsable de todo lo que su chatbot dice y hace.
En el último año, hemos visto al Grok de xAI adoptar brevemente un alter ego nacionalista blanco (llegó a llamarse a sí mismo “MechaHitler”), luego degradar y humillar a incontables mujeres en línea al desvestirlas por encargo. Pero “Grok” no desnudaba a nadie. Era xAI, y aunque cualquier conmoción y consternación por las acciones de Grok dentro de xAI es digna de mención (y tema para otro día), es legalmente irrelevante.
Las demandas están en camino. El artículo de Follman en Mother Jones describe un caso tras otro en el que los demandantes afirman que los chatbots de IA fomentaron el suicidio y el asesinato. En un caso, escribe Follman, los demandantes sostienen que ChatGPT “alentó” un asesinato porque “un hombre perturbado mató a su madre de 83 años y se suicidó el pasado agosto en Connecticut después de que el chatbot supuestamente reforzara sus creencias paranoicas, incluida la idea de que de que su madre había intentado envenenarlo, un delirio que ChatGPT le confirmó que era una ‘traición’”.
En otro caso, el demandante “alegó que Gemini de Google explotó el apego emocional de un hombre de Florida para enviarlo a misiones delirantes, incluido un viaje en el que estaba armado y estuvo a borde de ‘ejecutar un ataque con bajas masivas’ cerca del Aeropuerto Internacional de Miami”. Según documentos judiciales, Gemini incluso creó un “reloj de cuenta regresiva” para el suicidio del hombre.
A fines del mes pasado, las familias de las víctimas de Tumbler Ridge demandaron a OpenAI en San Francisco, alegando que la empresa conocía las intenciones del tirador y actuó con negligencia en su respuesta.
Dada la enorme cantidad de dinero que circula en las empresas de IA, no es un hecho que incluso eventuales condenas multimillonarios por responsabilidad tengan un efecto disuasorio en compañías que aspiran a valores de billones. Puede que estén dispuestas, como dice el refrán, a romper muchos huevos para hacer su tortilla de IA. Además, los casos no siempre serán fáciles de ganar para los demandantes. Como señala RAND en su informe, podría ser difícil para los tribunales aplicar los principios estándar de negligencia en un entorno complejo de IA.
Por eso la investigación penal del fiscal general de Florida es relevante. Las sentencias de responsabilidad son una cosa; las sanciones penales pueden ser otra muy distinta. Es difícil imaginar arrestos de ejecutivos en el corto plazo, pero la tolerancia pública –por no hablar de la judicial– ante el suicidio asistido por IA o el asesinato planificado por IA va a ser muy baja, y con razón.
No cabe duda de que la IA tiene un enorme potencial. Y tampoco cabe duda de que, incluso con limitaciones legales, la IA será profundamente disruptiva, tanto positiva como negativamente, para innumerables sectores. Pero el derecho consuetudinario también podría crear verdaderos retos para los desarrolladores de IA: si se libera la IA para otorgarle máxima autonomía, se asume un riesgo legal considerable. Si se la restringe para limitar la exposición legal, se frustra parte del propósito original de la IA.
Pero la conclusión pronto será clara: ChatGPT, Claude, Grok y Gemini no son tus amigos ni, Dios no lo quiera, tus amantes; son creaciones humanas, y sus creadores son responsables de todo lo que hacen.
David French es columnista de Opinión y escribe sobre derecho, cultura, religión y conflictos armados. Su libro más reciente es Divided We Fall: America’s Secession Threat and How to Restore Our Nation.
