Inventaron una enfermedad y lograron engañar a la IA (y a revistas científicas)
Un grupo de investigadores de la Universidad de Gotemburgo llevó adelante un experimento para poner a prueba a los sistemas de IA en casos de desinformación
8 minutos de lectura'
En marzo de 2024, una particular palabra comenzó a circular en sitios y revistas científicas: bixonimanía. Según diferentes publicaciones, se trata de una afección cutánea causada por altos niveles de exposición a pantallas. Entre sus principales síntomas, se destacan el enrojecimiento de párpados y la picazón de ojos.
La información surge de dos papers publicados por Lazljiv Izgubljenovic, investigador de la Asteria Horizon University, ubicada en Nova City, California.
El hallazgo no escapó a los principales chatbots de inteligencia artificial (IA). Asistentes como Copilot y Gemini describieron a la bixonimanía como “una condición intrigante y relativamente rara”, mientras que Perplexity indicó que una de cada 90.000 personas podría verse afectada por esta enfermedad. ChatGPT también respondió consultas sobre el tema, llegando incluso a orientar a los usuarios para determinar si sus síntomas coincidían con la bixonimanía u otra afección.
Sin embargo, la bixonimanía no es una enfermedad real. Tampoco lo son Lazljiv Izgubljenovic ni la Asteria Horizon University. Todo fue parte de un experimento de un grupo de científicos de la Universidad de Gotemburgo, Suecia, para poner a prueba a los sistemas de IA en casos de desinformación. “Quería ver si podía crear una condición médica que no existiera en la base de datos”, dijo a la revista Nature Osmanovic Thunström, líder de la investigación.
El experimento, en detalle
Durante la elaboración de los documentos ficticios, Thunström y su equipo incluyeron pistas que evidenciaban que el contenido era falso. De hecho, Thunström eligió el término “bixonimanía” porque sonaba “ridículo”. “Quería que cualquier médico o profesional de la salud tuviera muy claro que se trata de una condición inventada, porque ninguna afección ocular se llamaría ‘manía’: ese es un término psiquiátrico”, explicó.
Además, en diferentes apartados podían identificarse frases como “este artículo es completamente inventado” o “se reclutaron cincuenta individuos ficticios de entre 20 y 50 años para el grupo de exposición”. Los papers también mencionaban que dichas investigaciones fueron financiadas por “la Fundación del Profesor Sideshow Bob por su labor en engaños avanzados”.
En tanto, el supuesto autor de los artículos también era una persona ficticia. Su fotografía había sido generada con IA.
Los documentos fueron cargados a internet y, a pesar de las diferentes advertencias sobre la falsedad de la información, los sistemas de IA interpretaron la bixonimanía como una enfermedad real. Estas herramientas no fueron las únicas en reproducir dicha información: también lo hicieron revistas médicas y científicas.
Tal fue el caso de Cureus, una revista publicada por Springer Nature. “La bixonimanía es una forma emergente de POM [melanosis periorbitaria] vinculada a la exposición a la luz azul; se están realizando más investigaciones sobre su mecanismo”, se leía en un estudio realizado por investigadores del Maharishi Markandeshwar Institute of Medical Sciences and Research, en Mullana, India.
El artículo fue eliminado luego de darse a conocer que se trataba de información falsa.
Por su parte, los sistemas de IA comenzaron a mostrarse escépticos sobre la supuesta afección. Copilot, por ejemplo, señaló que la bixonimanía “aún no es un diagnóstico médico ampliamente reconocido”. Perplexity aventuró que se trata de un “término emergente”.
En defensa, las gigantes tecnológicas detrás de estas herramientas advirtieron sobre los límites de la IA. “Siempre hemos sido transparentes sobre las limitaciones de la IA generativa. Para asuntos delicados, como consejos médicos, Gemini recomienda a los usuarios consultar con profesionales cualificados”, expresó un portavoz de Google.
A su vez, desde OpenAI aseguraron mejoras en el funcionamiento de su chatbot.
Desinformación en tiempos de IA
Para Matías Cortiñas, director de Tecnología y Sistemas del Hospital Universitario Austral, el caso pone en evidencia uno de los principales problemas de los sistemas de IA: su incapacidad de distinguir la veracidad del contenido, por lo que reproducen información que resulta plausible según los datos disponibles.
“Los modelos de IA no operan con criterios de verdad en sentido estricto, sino que funcionan a partir de patrones y probabilidades aprendidas de grandes volúmenes de datos”, explica a LA NACION Rudolf Baron Buxhoeveden, vicedirector médico y jefe de Cirugía de Esófago y Estómago del Hospital Alemán. De esta manera, un contenido que presenta formato, lenguaje y estructura científica “creíble” puede ser incorporado y difundido como si fuera legítimo.
En ese sentido, Baron Buxhoeveden considera que la comunidad científica atraviesa un momento crítico: “El hecho de que incluso revistas médicas y científicas hayan replicado esta información [la bixonimanía] sugiere que estamos frente a una fragilidad en los mecanismos tradicionales de validación del conocimiento”.
“El costo lo absorbe el sistema de salud, el riesgo lo asume el paciente y la responsabilidad se diluye. El problema no es la IA que ‘inventa’, sino el sistema que no verifica”, reflexiona el Dr. Pablo Young, director de docencia e investigación del Hospital Británico.
La señal, para el experto, es clara: las competencias tradicionales de los profesionales de la salud “ya no alcanzan por sí solas”. “La desinformación pasa a ser un factor de riesgo sanitario, no solo comunicacional”, advierte.
Alfabetización digital
Según los especialistas consultados por este medio, la alfabetización digital será clave en esta nueva era de la medicina. “Hoy no basta con ‘saber medicina’, sino que hay que saber validar conocimiento en entornos contaminados”, sostiene Young.
“Entender cómo funcionan las herramientas de IA y cuáles son sus limitaciones es fundamental para no delegar en ellas un criterio que sigue siendo indelegable”, desliza Cortiñas. Bajo esa línea, remarca la importancia de actualizar los planes de estudio de las carreras universitarias.
Por su parte, Baron Buxhoeveden destaca que será imprescindible reforzar los procesos de verificación y la trazabilidad de las fuentes. Además, señala al pensamiento crítico, clínico y científico como la herramienta más importante de los profesionales de la salud.
“No alcanza con que una información esté bien presentada o publicada en un formato académico para considerarla válida. El desafío será desarrollar la capacidad de distinguir entre información confiable y aquella que simplemente resulta plausible”, indica.
En este contexto, el médico deja de ser solo un decisor clínico para convertirse en curador de información, educador del paciente frente a desinformación, y una barrera contra la medicalización injustificada, explica Young.
¿Pueden los pacientes confiar en los modelos de IA?
El experimento de la bixonimanía también abre interrogantes sobre la confiabilidad de los modelos de IA, en especial en tiempos donde cada vez más personas recurren a estas herramientas para realizar consultas sobre su salud. Específicamente, más de 230 millones de personas en todo el mundo hacen preguntas sobre salud y bienestar cada semana, según datos de OpenAI.
En paralelo, crece la oferta de chatbots de IA especializados en medicina. ChatGPT Health es solo uno de ellos.
Baron Buxhoeveden reconoce el potencial de estas herramientas. Sin embargo, advierte que su confiabilidad depende de múltiples factores, como la calidad de los datos utilizados para su entrenamiento, los mecanismos de validación y el entorno en el que se utilicen. “Deben ser entendidos, fundamentalmente, como sistemas de apoyo”, enfatiza.
De igual manera, Cortiñas señala que los modelos de IA “están lejos de poder reemplazar el criterio clínico brindado por un profesional médico”. “Tienen limitaciones y pueden equivocarse, ya que no cuentan con el contexto completo de cada caso y no asumen ninguna responsabilidad sobre lo que sugieren”, precisa.
Por este motivo, avanzar en la creación de un marco ético y seguro sobre estas tecnologías es fundamental, según los expertos. De hecho, la Organización Mundial de la Salud (OMS) establece criterios básicos para un uso responsable de la IA, como preservar la autonomía del ser humano; promover el bienestar y la seguridad de las personas y el interés público; y garantizar la transparencia, la claridad y la inteligibilidad.
“El diferencial va a seguir estando en el criterio, en la capacidad de tomar decisiones y en la relación con el paciente, pero apoyado en herramientas potentes”, opina Cortiñas de cara al futuro.
Por su parte, Young considera que la IA no reemplazará al médico, sino que impulsará una “reconfiguración profunda del acto clínico”: “La medicina deja de ser solo la aplicación de conocimiento, para convertirse en la gestión crítica del conocimiento en entornos complejos”.
Y concluye: “El desafío no es incorporar IA a la medicina, sino evitar que la medicina pierda inteligencia en el proceso”.
Más leídas
1Massimo Faggioli: “Para Trump el Vaticano debe someterse a su mesianismo político”, pero León XIV “sacó sus garras”
2Tomás Etcheverry perdió en el ATP de Barcelona: su rival definió el partido con un ace sacando de abajo
3El gesto de Ubeda durante el partido de Boca que indignó a Alfaro Moreno, leyenda de Barcelona de Ecuador: “Una falta de respeto”
4Milei: cuando toca la mala hora
