1
Cómo una IA casi arruina un fallo judicial en EE.UU.
Una denuncia presentada contenía citas falsas e inexactas; en consecuencia, el juez a cargo del caso impuso multas de US$31.000 a los abogados
5 minutos de lectura'
La inteligencia artificial (IA) avanza a pasos acelerados en múltiples ámbitos, y el sistema judicial no es ajeno a esta transformación. Pero, ¿qué consecuencias puede tener la incorporación de una tecnología tan poderosa -y aún imperfecta- en decisiones que afectan de manera directa a los derechos y responsabilidades de las personas?
Un reciente caso contra la empresa de seguros State Farm ocurrido en Los Ángeles, California, EE.UU., pone la lupa sobre el tema. El juez Michael Wilner criticó a un estudio de abogados por utilizar IA para crear un informe que contenía citas legales falsas e inexactas. En consecuencia, Wilner impuso sanciones por US$31.000 y afirmó que “ningún abogado razonablemente competente debería externalizar la investigación y la redacción a la IA”, según indica el fallo emitido la semana pasada.
“Leí su escrito, me convencieron (o al menos me intrigaron) las autoridades que citaron y consulté las decisiones para saber más sobre ellas, solo para descubrir que no existían”, expresó Wilner. “Es aterrador. Casi me llevó al resultado aún más aterrador (desde mi punto de vista) de incluir esos materiales falsos en una orden judicial”, dijo.
Nombres inexistentes
Tras revisar el escrito, el juez Wilner descubrió que al menos dos de las autoridades citadas “no existen en absoluto”, por lo que exigió una aclaración. “Ningún abogado ni miembro del personal aparentemente verificó las citas ni revisó de ningún modo dicha investigación antes de presentar el escrito”, señaló.
El estudio, K&L Gates, volvió a presentar el documento a la justicia, pero esta vez con “muchas más citas y frases inventadas, además de los dos errores iniciales”. Tras este episodio, Wilner emitió una orden de justificación, lo que llevó a uno de los abogados a admitir que utilizó Google Gemini y otras herramientas de investigación jurídica entrenadas con IA para la redacción del documento.
“El uso inicial, no revelado, de productos de IA para generar el primer borrador del escrito fue totalmente erróneo. Y enviar ese material a otros abogados sin revelar su dudoso origen en la IA puso, en realidad, a esos profesionales en peligro”, concluyó Wilner.
Nuevos desafíos
No se trata de la primera vez que el uso incorrecto de esta tecnología despierta preocupaciones, miedo e incertidumbre en el mundo de la justicia. En diciembre de 2023, el exbogado de Trump, Michael Cohen, confundió Google Gemini -en ese momento llamado Bard- con un “motor de búsqueda superpotente” en lugar de un chatbot de IA, lo que lo llevó a mencionar casos judiciales inventados en un documento legal, según informó The Verge.
Para Antonella Stringhini, abogada especialista en administración pública y en IA, y directora académica de proyectos de Inteligencia Artificial Ubatec, la alfabetización y capacitación digital es clave para afrontar los nuevos desafíos de la profesión.
“Los modelos de lenguaje pueden simular conocimiento y comprensión humana, alucinar, dar respuestas inventadas, sesgadas o fantaseadas. Depende del modelo que usemos, si es con o sin licencia, puede tener ventana de contexto más limitada que otras”, explicó para LA NACION. Y describió a estas herramientas como “cajas negras”: “Nosotros no sabemos cómo llegan a esa respuesta, si no adoptamos metodologías o desarrollamos metodologías para poder garantizarlo”.
Stringhini destacó la importancia del control humano: “Siempre tiene que estar el funcionario competente validando esa respuesta y presente en toda la elaboración de esa instrucción”.
Por su parte, Juan G. Corvalán, doctor en Ciencias Jurídicas, máster en IA y co-creador de Prometea, un sistema de IA predictivo en aplicación en la Justicia de Hispanoamérica, consideró que se trata de un nuevo paradigma. “Es la tecnología más disruptiva de toda la historia humana. Por eso nos obliga a repensar desde las bases cómo concebimos los procesos judiciales”, afirmó.
Y añadió: “Si seguimos insertando IA en estructuras pensadas para el papel, el expediente físico o sistemas informáticos obsoletos, la burocratizaremos, la deformaremos y probablemente en muchos casos aumentemos los riesgos o desafíos”.
En este sentido, Corvalán sostuvo que el principal riesgo es delegar decisiones sensibles en sistemas automatizados sin supervisión humana adecuada. Para afrontar este desafío, una arquitectura de supervisión escalable, proporcional al impacto de cada tarea, es ideal. “Hay que pensar en criterios de diseño responsable, transparencia, trazabilidad y competencias específicas dentro del sector público para auditar y evaluar estas herramientas en tiempo real”, profundizó.
En esta línea, opinó que el rol de los jueces cobra aún más relevancia: “Es quien tiene que dirigir los equipos centauros, la edición, la supervisión y el control sobre los agentes de IA será la tarea más relevante”. Sin embargo, señaló que será crucial que los funcionarios judiciales cuenten con la habilidad de aprender y reaprender en dinámicas cada vez más rápidas.
Regulación
La regulación también juega un rol clave ya que aporta tanto límites como certidumbre. “La regulación nos permite establecer estándares comunes al uso de estas herramientas en los procesos judiciales y nos dan mecanismos de confianza, que es algo que las personas a veces van perdiendo cuando se utiliza la tecnología”, indicó Stringhini.
Corvalán también opinó que regular es necesario, pero sin imponer límites a la innovación. “Regular demasiado pronto y con una visión cerrada puede tener efectos contraproducentes. Lo urgente no es tanto legislar con detalle, sino establecer protocolos dinámicos, principios rectores y marcos de confianza”, deslizó.
En este sentido, consideró que, en países como la Argentina, la opción más viable es apostar por regulaciones adaptativas, “que evolucionen junto con la tecnología y se basen en la experiencia práctica acumulada en el sector público”.
“Poder establecer buenas prácticas, guías o recomendaciones van a hacer que esta implementación de IA pueda ser mucho más responsable y siempre desde una mirada ética”, concluyó Stringhini.
