La injusticia de los algoritmos: por qué las matemáticas pueden ser inhumanas

En 2009, el alcalde de Washington estaba preocupado por el bajo desempeño de las escuelas de su distrito. Las evaluaciones mostraban que, cada año, los alumnos bajaban en el puntaje de las pruebas de Lengua y Matemáticas. Entonces tomó una decisión para cambiar el fatídico rumbo. Contrató a Michelle Rhee como secretaria de Educación Pública y le dio una misión: que los alumnos no abandonaran masivamente la escuela en noveno grado, abatidos por las malas notas que sacaban en sus exámenes anuales.

La teoría de moda era que los chicos no aprendían porque los maestros hacían mal su trabajo. Sobre esta base, Rhee convocó a la consultora Mathematica Policy Research, dedicada a desarrollar algoritmos para políticas públicas, que creó una herramienta de evaluación llamada Impact. Su objetivo, en palabras de los científicos de datos que la elaboraron, era "optimizar" el sistema educativo para asegurar que los alumnos tuvieran mejores docentes. Su propósito, en términos concretos, fue construir un ranking para echar de su trabajo a los maestros que quedaban debajo de la lista, hasta que todos los profesores considerados malos se fueran del sistema.

Sarah Wysocki era una maestra de quinto grado que llevaba dos años en su trabajo. Tenía excelentes revisiones de la directora de la escuela y de los padres. Todos destacaban su atención para con los niños: "Es una de las mejores docentes con las que he interactuado", decía uno de los comentarios. Sin embargo, en 2011 Wysocki sufrió un shock: obtuvo un resultado bajísimo en la evaluación y quedó en una lista junto a otros 200 docentes que tenían que ser despedidos. La causa: Impact les otorgaba la mitad del puntaje a los resultados en Lengua y Matemáticas obtenidos por los niños, pero minimizaba el valor de las revisiones de los directivos y la comunidad, el punto en el que ella se destacaba.

Según la consultora detrás del sistema, esto buscaba reducir la "parcialidad humana" y solo centrarse en "puntajes". ¿Se podía ser una buena maestra aun cuando los alumnos no obtuvieran las mejores notas? Con las mediciones previas, sí. Con Impact, eso quedaba descartado.

El modelo "racional" iba más allá. Impact medía los resultados de cada alumno sin considerar sus procedencias socioeconómicas o situaciones familiares. Con esto, creaba otra desigualdad: las maestras de los barrios con mejores ingresos obtenían resultados más altos porque los chicos tenían más apoyo en sus casas para hacer los deberes, maestras particulares o simplemente sus cuatro comidas diarias. Mientras tanto, las maestras de los barrios pobres quedaban más abajo en la lista por el peor desempeño de sus alumnos. Así, los chicos que precisaban de docentes más presentes o que entendieran sus contextos familiares a la hora de aprender terminaban perdiendo a los maestros que más atención les prestaban. Con el algoritmo, se decía que la educación mejoraría, pero se producía más desigualdad.

El otro problema del sistema es que lo afectaba el azar y retroalimentaba sus propios errores. ¿Qué pasaba si a una maestra le tocaba durante un año llevar adelante un curso donde un porcentaje alto de los alumnos se había tenido que mudar? ¿Y si había pasado varias semanas bajo la nieve sin ir a la escuela y esto afectaba su rendimiento? Ese año, por más empeño que la docente hubiera puesto en enseñar a pesar de las dificultades, corría el riesgo de perder su trabajo. En un curso de 25 o 30 alumnos, una diferencia mínima de tres alumnos con malas notas podía significar la pérdida del trabajo de una persona (al contrario de otros sistemas algorítmicos que se basan en millones de datos al mismo tiempo y reducen este efecto). ¿Cómo consideraba Impact las excepciones, los problemas socioeconómicos o las variables externas que también podían afectar los resultados? No lo hacía. Pero además cometía un grave error: definía una realidad (las maestras tienen la culpa, hay que reemplazarlas) y la utilizaba para justificar un resultado, que, repetido con los años, creaba una enorme brecha.

Las zonas oscuras de la big data

¿Qué sucede cuando le damos a la tecnología el poder sobre áreas crecientes de nuestras vidas? ¿Qué ocurre cuando los modelos algorítmicos toman decisiones de educación, salud, transporte, hipotecas y créditos bancarios? ¿Cómo es una sociedad donde una tecnocracia concentrada decide a través de sistemas "inteligentes" lo que antes se acordaba a través de pujas –no siempre sencillas– entre distintos intereses, entre ellos la distribución de la riqueza y las oportunidades? ¿Qué construimos, en definitiva, cuando cedemos el poder a la "eficiencia" de los gurúes de la big data y nos olvidamos de elementos como la justicia, la solidaridad o la equidad?

Cathy O’Neil, una doctora en Matemáticas de Harvard, se hizo estas preguntas y las respondió en su libro Armas de destrucción matemática, que escribió luego de trabajar como científica de datos en fondos de inversión y startups, donde construía modelos para predecir los consumos y los clics de las personas. Tras esa experiencia, comprendió que la data economy, la economía de los grandes datos de la que ella había sido parte, se estaba olvidando del componente social de la ecuación. Los modelos matemáticos solo buscaban la eficiencia, pero se olvidaban de la ética y de la justicia en el camino. O’Neil se convirtió en activista y divulgadora de las desigualdades que producen los algoritmos en nuestras vidas. La de Washington y Sarah Wysocki, su maestra, evaluada injustamente, es una de las primeras historias que investigó cuando la docente empezó a demandar a las autoridades cómo habían construido la fórmula que quería dejarla sin trabajo, y se encontró con una sola respuesta: nadie lo sabía.

En Estados Unidos, y en forma creciente en el mundo, los funcionarios contrataban consultoras de expertos en big data que les cobraban millones de dólares y decidían sobre la vida de los ciudadanos. Pero ni ellos mismos, y menos aún las personas comunes, conocían el funcionamiento de los algoritmos que tomaban las decisiones por ellos. La sociedad estaba sometida a modelos de cajas negras donde los datos entraban –no se sabía qué ocurría adentro– y luego se tomaban determinaciones. Las manejaban unos pocos, ganando mucho dinero. Pero las grandes mayorías sufrían decisiones arbitrarias que profundizaban las injusticias.

Tras investigar la caja negra de la educación, O’Neil se sumergió en los modelos de datos que decidían a quién mandar a la cárcel, a qué personas contratar o despedir en los trabajos, a quiénes aprobarle un préstamo bancario o un seguro de salud y a qué noticias estamos expuestos para votar en las elecciones. Su conclusión fue tajante: las fórmulas que se presentan bajo la más pura lógica y sin margen de error en realidad se están convirtiendo en armas contra la humanidad. "Sus veredictos castigan a los pobres y a los oprimidos mientras hacen más ricos a los ricos", dice. Y advierte que si las seguimos festejando y desarrollando al ritmo actual, pero, sobre todo, si no les sumamos un factor de igualdad, se volverán contra nosotros, el 99% de la sociedad.

Desde la maestra que es evaluada y despedida por una fórmula hasta las miles de personas a las que se les niega un crédito, un trabajo o un seguro de salud analizando bases de datos, todos sufren sus decisiones, pero pocas personas conocen cómo funcionan. Potenciales candidatos quedan fuera de un trabajo por departamentos de recursos humanos que descartan currículums a través de fórmulas y palabras clave y solo consideran el 5% que queda arriba del ranking. Otros utilizan los datos para lo contrario: contratar trabajadores con códigos postales de barrios vulnerables porque son más dóciles a la hora de aceptar horarios rotativos y salarios mínimos debido a la gran necesidad que tienen de contar con un ingreso para subsistir.

Sirvan para uno u otro objetivo, las fórmulas tienen algo en común: son algoritmos basados en secretos corporativos que hacen al mundo más desigual. Los más acomodados siguen consiguiendo trabajo por medio de sus contactos, amigos y familiares. El resto de las personas queda sometido a la maquinaria del procesamiento de datos. "Son víctimas humanas de modelos matemáticos que manejan la economía, desde la publicidad hasta las cárceles. Son armas opacas, incuestionables e inexplicadas, pero operan en gran escala para clasificar y «optimizar» a millones de personas", sostiene O’Neil.

Con el crecimiento exponencial de los datos disponibles para analizar y el auge de la ciencia de los datos en cada aspecto de nuestras vidas, quedamos atrapados en un problema: nadie está dispuesto a cuestionar si los modelos realmente funcionan o tienen errores. Por ahora, la novedad está dando tantos beneficios económicos que nadie se atreve a poner en debate un negocio multimillonario. "¿Y las víctimas? Bueno –dicen ellos–, ningún sistema puede ser perfecto. Esa gente representa los daños colaterales. Olvidémonos de Sarah Wysocki un minuto y pensemos en toda la gente que obtiene sugerencias útiles de la música que ama en Pandora, su trabajo ideal en LinkedIn o el amor de su vida en Match.com. Pensemos en la gran escala, ignoremos las imperfecciones", escribe O’Neil.

Pero las imperfecciones no son errores menores, sino decisiones que afectan situaciones clave de nuestras vidas, como entrar y permanecer en el sistema educativo, pedir un préstamo para comprar una casa, acceder a la información necesaria para votar o conseguir un trabajo. Todos estos territorios están cada vez más dominados por modelos secretos que empuñan castigos arbitrarios. "Es el lado oscuro de la big data", dice la autora.

¿Qué hacer?

¿Cómo llegamos hasta aquí, hasta el mundo controlado por la data economy que avanza sin parámetros de justicia? ¿Cómo nos sometimos a la creencia de que todo este "progreso" nos complace, mientras ignoramos cómo funcionan las fórmulas que deciden por nosotros y hasta nos castigan? ¿Por qué nos quejamos si un político esconde su riqueza, pero no les demandamos transparencia a los algoritmos?

Hay tres factores que confluyen.

El primero es tecnológico. Estamos en la era de la inteligencia artificial, producto de un salto en la ciencia de los datos, la tecnología de los microprocesadores y las técnicas de machine learning que, en los últimos cinco años, transformaron radicalmente la disponibilidad y el procesamiento de la información.

El segundo elemento es histórico. Estamos en un momento de transición del modelo de Estado que nos brindaba seguridad y protección social a los trabajadores y se ocupaba de la redistribución (más o menos justa) de la renta entre el capital y el trabajo. Pero esto no fue siempre así. Antes del Estado de bienestar no existían las leyes laborales o la jornada laboral de ocho horas.

Si durante la Revolución industrial el cambio tecnológico necesitó establecer contratos para una sociedad más justa, hoy también necesitamos poner límites al poder de la tecnología.

Si queremos que la data economy no destruya nuestras sociedades, tendremos que volver a hacernos preguntas éticas, que serán nuevas y propias de esta etapa. Si en la Revolución industrial se necesitó limitar el día de trabajo a ocho horas, hoy la tecnología quizás suponga lo contrario: reducirlo aún más. Si empezamos a hacernos esas preguntas ahora, el panorama no será tan oscuro. Como dice O’Neil, son las preguntas de un cambio de época, que requieren que las pensemos colectivamente: "Necesitamos unirnos para vigilar las armas de destrucción matemática. Mi esperanza es que sean recordadas, como los trabajadores muertos en las minas un siglo atrás, como vestigios de los primeros días de esta nueva revolución, antes de que aprendiéramos cómo promover la justicia y la transparencia en la era de los datos. Las matemáticas se merecen algo mejor y la democracia también".

El tercer componente es económico. La concentración de recursos y conocimientos del Club de los Cinco (y sus amigos), que se apropian diariamente de nuestros datos para entrenar sus algoritmos con ellos. Si en 2007 el lema era "El producto sos vos", en referencia a la supuesta gratuidad de las plataformas digitales, que en realidad pagamos con la privacidad de nuestros datos y una economía de hipervigilancia, en 2017 la frase puede ser reemplazada por "Vos sos los datos que entrenan a las máquinas".

El problema es que en el futuro cercano –si no modificamos hoy la economía del extractivismo de datos–, muchos de los servicios ya no serán gratuitos, el entrenamiento estará hecho y la desigualdad será peor. El tema ya no solo preocupa a la izquierda, sino que se transforma en debate y alarma para publicaciones como The Economist, que en mayo de 2017 impactó con una tapa que recorrió el mundo: "El recurso más valioso no es más el petróleo, sino los datos", e instó a buscar reglas antimonopólicas para evitar las consecuencias descomunales de esta transformación.

La UBA contraataca

Ciudad Universitaria, la isla de hormigón que se alza entre el Río de La Plata y la autopista Lugones, recibe a sus habitantes –alumnos y profesores– desde temprano, cuando la niebla húmeda de la costanera se evapora con el sol. Sebastián Uchitel –director del Instituto de Investigaciones del Departamento de Ciencias de la Computación de la UBA y el Conicet– cruza con su bicicleta los eucaliptos y los fresnos que rodean el Pabellón I, y la estaciona hasta la noche. "La vida de nuestra carrera empieza a las cinco de la tarde, para que los estudiantes puedan trabajar", dice. Uchitel tiene 46 años, es científico y profesor (o "maestro", que es también el significado de su apellido de origen ucraniano). En su universo, el de las ciencias de la computación, es una eminencia internacional que forma a estudiantes y los hace pensar más allá de las necesidades del mercado. Sin embargo, no escapa a esa demanda comercial: "Sí, nuestros mejores alumnos se van a trabajar a Google, Facebook, Microsoft. Se entiende: les ofrecen un trabajo bien pago y problemas técnicos complejos".

En ese progreso de las ciencias, cada tanto se produce un salto. En las ciencias de la computación eso se produjo en algún momento entre 2009 y 2015. Las habilidades lingüísticas de los algoritmos avanzaron del jardín de infantes hasta el colegio secundario, como dice Cathy O’Neil. Para algunas aplicaciones, el salto fue aún más grande. Y eso se debió a la acumulación exponencial de datos que supuso internet, un enorme laboratorio de investigación del comportamiento de los usuarios, donde el feedback se consigue en segundos.

Si desde 1960 hasta hoy los científicos tardaron décadas en enseñarles a las computadoras a leer (es decir, a procesar distintos lenguajes, a programar las reglas y las gramáticas de los códigos que utilizamos en nuestra vida mediada por computadoras, celulares y todo tipo de aparatos), esa posibilidad se multiplicó por millones con las personas que hoy producen petabytes de datos por segundo. Con esa información, los programas hoy tardan cada vez menos tiempo en aprender los patrones humanos y en hacer predicciones. Con el machine learning los algoritmos encuentran datos y los conectan con los resultados. De alguna manera, aprenden. Pero también, si los programas son predatorios, calculan las debilidades de los usuarios y las explotan.

Uchitel reconoce que, desde 2010, el área conocida como redes neuronales y el machine learning están viviendo una explosión. "La disponibilidad de datos brutal que tenemos hoy, sumada a la tecnología del cloud computing, juega un rol importante. Las personas no necesitamos muchos ejemplos para aprender qué es un perro. En cambio, las computadoras sí, y eso se está facilitando con la cantidad de imágenes, palabras y estructuras que se producen cada segundo", explica. Pero junto con el avance tecnológico se generan otros problemas: "Cuando una red aprende una estructura también puede cometer errores. Y es muy difícil, incluso para nosotros los especialistas, entender por qué se equivoca. La podemos entrenar más, pero corremos el riesgo de inducirle nuestras propias preguntas o prejuicios. En un punto, cuando le creés a un sistema, te quedás ciego: no podés saber exactamente por qué hace lo que hace".

En este punto, el profesor Uchitel retoma la idea de caja negra: todos los días utilizamos programas o algoritmos que no entendemos, pero que confiamos en ellos para tomar decisiones por nosotros. Y advierte que en algunos casos esto puede ser delicado: "Cuando un algoritmo se utiliza, por ejemplo, para crear perfiles de sospechosos de un asesinato, hay peligros. Hay falsos positivos, es decir, errores. Muchas veces se los ignora, pero en el medio no tenemos que olvidarnos de que hay personas".

–Como cuando nos dicen "es un error del sistema".

–Claro, es una de las respuestas. Pero además, con la cantidad de datos acumulados, cada vez más vamos a recibir respuestas del tipo "usted es de tal categoría porque el sistema me lo dice". Y no podremos discutirlo. Pensemos en el caso de la industria de los seguros o la salud. Les importa vender. Si eso implica dejar a un porcentaje de personas fuera del plato, ganan igual. No hay tiempo de corregir los errores. Por eso es tan importante tomarse tiempo para construir el software que tenga la menor cantidad de errores.

¿Cómo hacer entonces para reducir los errores? Esa parece ser la pregunta clave en el futuro cercano del aprendizaje automático. Uchitel explica que además del camino del machine learning, que aprende por acumulación de datos, pero es oscuro ante nosotros, también se pueden construir sistemas de aprendizaje basados en la lógica. "Por ejemplo, la policía metropolitana del Reino Unido tiene un departamento de investigación de crímenes con un protocolo estricto para realizar una investigación. No decide por datos, sino por reglas. Los datos aportan, pero las reglas definen. El programa podría decir «Si esta persona está cerca del lugar del crimen, está asociada de esta manera con la otra, tienen un negocio en común, entonces se beneficiaría si el crimen sucediera»". Con este razonamiento más deductivo, las personas podríamos comprender cómo llegan a tomar las decisiones las máquinas. Llevaría más tiempo, pero mejoraría los niveles de error actuales. De todas formas, Uchitel adelanta que no hay sistema informático que elimine totalmente el riesgo. "El factor humano, por ahora, sigue siendo fundamental", dice.

"Guardianes del sueño". El desafío de escribir una novela de aventuras con la "ayuda" de 800 mil chicos

Ubicación del router. Los seis trucos para que haya wifi en todos los rincones de la casa y sin interferencias

Seguridad del router. Lo que tenés que hacer con tu wifi para evitar que te hackeen