Cómo controlar un algoritmo tendencioso

¿Te merecés un préstamo? ¿Sos el candidato perfecto para el trabajo al que aspirás? ¿Estás en condiciones de pasar el control de pasaportes? Cada día hay más algoritmos tomando las decisiones que rigen nuestras vidas. Y cada día saltan más alertas sobre las limitaciones de sus criterios y la falta de transparencia en lo relativo a sus procesos de 'pensamiento'.

Asegurar que las predicciones de estos sistemas no acaban dañando a colectivos en riesgo de exclusión es también responsabilidad de quienes los están creando. La comunidad científica ya está buscando maneras de conseguir que el reinado de las máquinas sea un poco menos siniestro.

Una manera de paliar la tiranía de estos descerebrados sistemas de decisión es aumentar la transparencia en sus procesos de deliberación. Al introducir mecanismos para cuestionar los resultados, arrojamos luz sobre las cajas negras que ocultan sus razonamientos y podemos detectar a tiempo sus potenciales sesgos.

Conocé a tu algoritmo

En 2017, la Association for Computing Machinery (ACM) publicó un manifiesto en defensa de la transparencia algorítmica y la rendición de cuentas. "Incluso los sistemas informáticos bien diseñados pueden manifestar resultados inesperados y errores, bien porque tienen fallos o porque sus condiciones de uso cambian e invalidan las asunciones sobre las que se basó la analítica original", advertían. En la misma declaración, la ACM definió siete principios necesarios para conocer a los algoritmos como a nosotros mismos.

• Conciencia. Los creadores de estos sistemas deben ser concientes de la posibilidad de que haya sesgos en su diseño, implementación y uso.
• Acceso. Los reguladores deben favorecer la introducción de mecanismos para que los individuos y grupos negativamente afectados por decisiones algorítmicas puedan cuestionarlas y rectificarlas.
• Rendición de cuentas. Las instituciones deben ser responsables de las decisiones del algoritmo, aunque no puedan detallar cómo se han tomado.
• Explicación. Se debe promover entre las instituciones que emplean sistemas algorítmicos la producción de explicaciones sobre los procedimientos y las decisiones específicas que se toman en este.
• Procedencia de los datos. Los datos empleados para el entrenamiento deben ir acompañados de una descripción de su origen y modo de recolección.
• Auditabilidad. Modelos, datos y decisiones deben quedar registrados para que puedan auditarse cuando se sospecha algún daño.
• Validación y testeo. Las instituciones deben establecer tests rutinarios para evaluar y determinar si el modelo genera discriminación.

Cambio de perspectiva

Otra aproximación para evitar que los algoritmos se conviertan máquinas de amplificar injusticias es ajustar sus sistemas de recompensa para que midan el éxito en sus tareas en función de parámetros más benignos. Esto es lo que está intentando Google con su generador de dibujos.

Los garabatos, trazados a través de una inteligencia artificial entrenada con dibujos hechos por humanos, se presentaron de nuevo ante una audiencia de carne y hueso cuya única misión era reaccionar ante ellos: si sonreían, se registraba una respuesta positiva, si fruncían el ceño o parecían confundidos, se registraba una respuesta negativa.

Al añadir esta variable a los datos empleados para entrenar a la red neuronal encargada de generar los dibujos y convertir su tarea en optimizar nuestra felicidad, se obtuvo una mejora en la calidad de las ilustraciones. "El feedback social implícito en forma de expresiones faciales no solo puede revelar las preferencias de los usuarios, también puede mejorar significativamente el rendimiento de un modelo de aprendizaje automático", sentencian los investigadores de Google en el paper que acompaña a este proyecto.

Cómo fracasar en el intento

Buena parte de la causa de este desbarajuste está los datos. Si tus datos están sesgados, tus resultados serán sesgados. Si la sociedad que retratan es desigual, los resultados serán desiguales. Sobre el papel, una posible respuesta a este problema de representación, sería eliminar las características sensibles que descompensan las decisiones. Stijn Tonk, de GoDataDriven, hizo la prueba con un sistema de asignación de créditos financieros y comprobó que el camino al algoritmo ecuánime es algo más complejo.

"Nuestro clasificador no tenía acceso a atributos de género y raza y aun así acabó con un modelo sesgado contra las mujeres y la gente de color", adelanta. La razón de esto es que el problema de los datos es más profundo que estas diferencias. "Nuestro dataset está basado en el censo de 1994, un tiempo en que la desigualdad salarial era un problema tan grave como lo es hoy. Como era de esperar, la mayoría de los mejor pagados en los datos son hombres blancos, mientras que las mujeres y la gente de color aparecen con más frecuencia entre los grupos de bajas rentas. Como resultado, acabamos con predicciones injustas, pese a haber eliminado los atributos de raza y género", explica Tonk.

Que la solución no sea fácil, insiste el experto, no implica que no sea necesario encontrar la manera de implementarla: "Hacer predicciones más justas tiene un coste: reducirá el rendimiento de tu modelo. Sin embargo, en muchos casos es un precio relativamente bajo a cambio de dejar atrás el mundo sesgado de ayer y predecir nuestro camino a un mañana más justo".