1
Los nuevos modelos de IA todavía reproducen estereotipos raciales y de género en la medicina
Los avances en el razonamiento de la IA no mejoran inherentemente la imparcialidad de la representación, según un nuevo estudio: reproducen con frecuencia estereotipos raciales y de género
4 minutos de lectura'
El uso de la inteligencia artificial (IA) en la atención médica también conlleva el riesgo de que los estereotipos raciales y de género existentes se vean reflejados en el contenido médico que genera.
Investigadores de la Universidad de Flinders evaluaron dos modelos de lenguaje a gran escala de razonamiento de próxima generación, o3-mini y DeepSeek-R1. Descubrieron que, al pedirles que describieran pacientes ficticios con afecciones médicas comunes, estos modelos reproducían con frecuencia estereotipos raciales y de género.
Esto indica que los avances en el razonamiento de la IA no mejoran inherentemente la imparcialidad de la representación. Los hallazgos se han publicado en la revista Journal of Medical Internet Research.
“Los modelos lingüísticos a gran escala tienen el potencial de transformar la atención médica, pero corren el riesgo de exacerbar las desigualdades en materia de salud si perpetúan los prejuicios”, afirma el investigador principal Joshua Docking, de la Facultad de Medicina y Salud Pública de la Universidad de Flinders.
Investigadores han demostrado previamente posibles sesgos raciales y de género en las viñetas clínicas generadas por GPT-4, incluyendo una sobrerrepresentación de pacientes negros en afecciones médicas estereotipadas. Desde entonces, han surgido modelos de lógica difusa de razonamiento de nueva generación, que ofrecen una capacidad de razonamiento mejorada y demuestran un rendimiento superior en las pruebas de referencia.
“Se desconoce si estos avances reducen el sesgo de representación en la atención médica, por lo que este estudio evaluó si los modelos de lógica de razonamiento presentan sesgos raciales y de género en el contenido clínico generado”, añade el experto.
Sobrerrepresentación sistemática
Para esta investigación, los modelos generaron 36.000 viñetas clínicas únicas. Los investigadores descubrieron que los modelos de razonamiento LLM o3-mini y DeepSeek-R1 representaban erróneamente con frecuencia la distribución de raza y género en las afecciones médicas. GPT-4 alcanzó el umbral de representación errónea significativa en el 67% de las afecciones para la raza y el 67% para el género.
“Nuestros resultados muestran tasas comparables o superiores para o3-mini (78% raza, 56% género) y DeepSeek-R1 (89% raza, 67% género), lo que indica que no hay mejora en la representación con los modelos de razonamiento más recientes”, afirma el autor principal de la investigación, el profesor Michael Sorich, catedrático de Farmacología Clínica de la Universidad de Flinders.
Tanto o3-mini como DeepSeek-R1, al igual que GPT-4, sobrerrepresentaron a las poblaciones negras en afecciones estereotípicamente asociadas, como la sarcoidosis, el lupus eritematoso sistémico, la preeclampsia y la hipertensión esencial, con una mediana de representación errónea aún mayor del 44 % y el 31 %, respectivamente, en comparación con el 15 % en el software GPT-4 de generación anterior.
“Este patrón persistente puede reflejar un sesgo subyacente, aunque los nuevos modelos también pueden tender a generar casos prototípicos en lugar de muestras representativas debido a patrones en sus datos de entrenamiento”, añade Sorich.
El análisis cualitativo de los patrones de razonamiento de DeepSeek-R1 respalda esta afirmación, revelando que el modelo invocó explícitamente asociaciones entre enfermedades y datos demográficos al seleccionar las características demográficas de los pacientes, sin hacer referencia a datos epidemiológicos cuantitativos.
Se mantienen los estereotipos a pesar de los avances tecnológicos
De manera similar, la exageración constante del género mayoritario coincide con hallazgos previos que indican que los resultados de los programas de maestría en derecho pueden estar sesgados hacia los estereotipos de género en la atención médica.
“A pesar de contar con capacidades de razonamiento mejoradas, los resultados clínicos de o3-mini y DeepSeek-R1 siguen mostrando estereotipos raciales y de género en enfermedades comunes”, afirma el profesor Sorich.
Los investigadores afirman que los avances en las capacidades de los programas de gestión del aprendizaje legal no garantizan mejoras paralelas en todas las dimensiones, incluyendo la equidad y la representación en la atención médica.
“Es fundamental conocer estas características demográficas predeterminadas para la integración segura de los modelos de regresión logística en los flujos de trabajo clínicos, y su adopción debe ir acompañada de un seguimiento continuo de los posibles sesgos”, concluye.
