¿Neutrales y objetivos? Los algoritmos también pueden ser racistas o machistas

Como trabajan con datos y realizan operaciones matemáticas, impera la idea de que los algoritmos son objetivos y neutrales; pero pueden reproducir sesgos y prejuicios humanos: a veces sus resultados están impregnados de machismo, racismo o información no veraz.

Servicios de imágenes que etiquetan como gorilas a personas de raza negra, anuncios de puestos de trabajo de alta cualificación que se muestran más a hombres que a mujeres, predicciones de reincidencia criminal que castigan el doble a la población afroamericana, propagación de noticias falsas o posicionamiento de páginas antisemitas son algunos ejemplos de estos sesgos.

Un algoritmo es un programa de software que funciona a partir de unos datos y sigue unas instrucciones determinadas para hacer algo. Así trabajan el buscador de Google -que destaca unos resultados de búsqueda sobre otros-, el muro de Facebook -que determina el orden en que aparecen las publicaciones- o las recomendaciones de compra de Amazon.

Los algoritmos se utilizan en medicina, en procesos penales, en investigación policial, en concesión de hipotecas o en procesos de selección de personal. La industria tecnológica defiende que la actividad algorítmica está libre de desviaciones, pero es una afirmación incorrecta.

Hechos por humanos

Los algoritmos los programan seres humanos subjetivos y funcionan con datos que no siempre son veraces ni representativos de la realidad. Por ejemplo, la élite de Silicon Valley está integrada en su mayoría por hombres jóvenes de raza blanca y eso afecta a la creación de estas herramientas.

"Los algoritmos pueden generar resultados sesgados en función de distintos factores, tales como su diseño e implementación y los datos que utilizan. La información con la que funcionan puede contener prejuicios o sesgos", explica a EFE la investigadora de la Universidad de Nueva York y de Microsoft Research Kate Crawford.

Además un algoritmo puede ofrecer resultados sesgados por trabajar con conjuntos de datos imprecisos o no representativos por no tener en cuenta a determinados colectivos. "Por ejemplo, si el algoritmo está aprendiendo a predecir complicaciones quirúrgicas de un subgrupo de población en el que no se incluye ninguna raza minoritaria, el sistema no aprenderá nada relativo a las peculiaridades de ese grupo", afirma la profesora de la Duke University Katherine Heller.

Sesgos que pueden tener consecuencias para los individuos que quedan al margen de sus resultados o salen peor parados en ellos, que suelen ser colectivos que sufren sexismo, racismo u homofobia.

Google ha tenido que dar explicaciones por la actividad de sus algoritmos. La última, la semana pasada, cuando el diario The Guardian alertó de que sus recomendaciones de autocompletado de la caja de búsqueda, que pretenden predecir las frases buscadas a partir de la primera palabra tecleada, asociaban a mujeres, judíos y musulmanes con el adjetivo "malos".

Google insiste en que la función de autocompletar es automática y refleja la actividad de búsqueda de otros usuarios y del contenido de las webs.

La automatización ha dado otros disgustos a esta tecnológica: en 2015, el etiquetado de Google Photos clasificó a personas de raza negra como primates.

"El algoritmo aprende a partir de las imágenes con las que trabaja, que suelen elegir los ingenieros, y el sistema construye una representación del mundo a partir de esas imágenes. Si se le entrena con fotos de gente mayoritariamente blanca, le costará más identificar los rostros de personas que no lo sean", apunta Crawford.

Lo que se usa de base para aprender

Investigadores de la universidad Carnegie Mellon detectaron que en Estados Unidos mostraba anuncios de empleos altamente cualificados más a hombres que a mujeres. También, que las búsquedas de nombres más asociados a la comunidad afroamericana devolvían con más frecuencia publicidad sobre servicios de registros criminales que las de nombres típicos de la población blanca.

Ambas investigadoras piden mayor diversidad en los equipos de desarrollo para contribuir a detectar las desviaciones y "minimizar los potenciales puntos ciegos culturales".

Propublica descubrió que el algoritmo judicial estadounidense Compas, que predice la tasa de reincidencia de los criminales, atribuía a los negros el doble de probabilidad de delinquir que a los blancos.

Es difícil detectar la falta de objetividad de los algoritmos porque poco se sabe de su funcionamiento: ¿cómo puede un usuario ser consciente de que el algoritmo lo está tratando peor que a otro?.

Crawford señala que el primer paso ha de ser estudiar cómo el distinto acceso a la información, la riqueza y los servicios básicos de comunidades diferentes modela los datos que sirven de entrenamiento a los sistemas de inteligencia artificial.

Violeta Molina Gallardo / EFE