La tecnología hace que la sociedad se parezca cada vez más a una caja negra

Valentín Muro
Valentín Muro PARA LA NACION
(0)
26 de diciembre de 2017  • 08:31

“Se cayó el sistema.” No sabemos bien qué significa, pero lo escuchamos todo el tiempo. Cualquier otra excusa podría motivarnos a hacer una nueva pregunta, a reclamar, a buscar una alternativa, pero la caída del sistema parecería ser la clausura perfecta a cualquier reclamo. No hay nada más que hacer: se cayó el sistema.

Pero incluso cuando el sistema funciona, tampoco nos preocupa mucho cómo lo hace. Vivimos en paz lidiando con “cajas negras” de las que sabemos más o menos qué podemos obtener cuando le metemos cierta información, pero no tenemos idea de cómo esa información es procesada. Es cuando el sistema no falla, pero tampoco hace lo que esperamos, que nos inunda la desesperación.

Desde fines de 2013 en la ciudad de Buenos Aires funciona un sistema de inscripción online para ingresantes de cualquiera de los niveles (jardín, primario y secundario) a escuelas públicas de la ciudad. Este sistema fue implementado en pos de agilizar el proceso y aumentar la transparencia detrás del mecanismo de inscripción. Pero si bien en su debut la iniciativa fue celebrada, inmediatamente le siguió un aluvión de reclamos.

La Defensoría del Pueblo, en respuesta, redactó un informe donde identificaba los dos principales problemas: el sistema se caía y los criterios de ordenamiento de las “listas de espera” no eran del todo explícitos. Si bien los reclamos persisten, su número disminuyó de más de mil en 2014 a 200 en 2017. Casos como estos nos remiten a la desesperación que lidiar con una “caja negra” nos produce. Sobre todo porque de repente no queda claro hacia quién debe hacerse el reproche.

Interactuamos con algoritmos todos los días: nos dicen la combinación de transportes que más nos conviene para llegar a donde vamos o nos recomiendan la próxima serie que nos va a quitar el sueño. Pero también están detrás de decisiones que pueden afectar el curso de nuestras vidas, como el acceso a una vacante en una escuela o a un crédito, la resolución de un proceso judicial (como es el caso de Prometea, la “inteligencia artificial” de la Justicia porteña) o si figuramos en una lista negra para abordar un avión.

Un algoritmo no es más que un conjunto de instrucciones que permite tomar cierta información y transformarla en otra. Pero muchas veces, como en el caso de los algoritmos de machine learning, dar cuenta del modo en que esta información fue procesada no es sencillo. El funcionamiento de estos mecanismos rara vez está diseñado para ser analizado por humanos, lo que limita enormemente nuestra capacidad para identificar cuándo, cómo y por qué se genera un daño, o cómo evitarlo.

Es por esto que a medida que crece la variedad y el alcance de las potestades que otorgamos a máquinas para que decidan sobre nuestras vidas, crece el campo de la “responsabilidad algorítmica”. Lo que muchos investigadores y académicos empiezan a cuestionarse es quién debería hacerse cargo del impacto que los algoritmos tienen en nuestras vidas y qué mecanismos deberíamos tener para poder escrutar sus procesos de decisión.

La semana pasada en Nueva York se aprobó la primera legislación de Estados Unidos que busca revisar el modo en que la ciudad se sirve de algoritmos que afectan la vida de sus ciudadanos. Para eso se formará un grupo de tareas que en 2019 publicará un informe acerca de los sistemas de decisión automáticos, con el foco puesto en qué tan justos y abiertos al escrutinio son.

Sin embargo, y a pesar de lo osado de la propuesta, la iniciativa tiene muchos problemas. Varios de ellos surgen de las concesiones políticas que debieron hacerse para que la propuesta legislativa prosperara. En particular, se proponía que el código fuente de todo sistema utilizado por la ciudad fuera hecho público y que se hicieran una serie de simulaciones del funcionamiento de estos algoritmos antes de hacerlos operar en el mundo real. Como ningún contratista del Estado hubiera estado dispuesto a abrir su código (alegando secreto comercial), lo único que se mantuvo de la propuesta original es una ambigua referencia al pasar a la obligación de “hacer pública información técnica siempre que corresponda”.

Un desafío que se hace cada vez más evidente frente a la exigencia de explicaciones sobre la forma en que un algoritmo toma una decisión tiene que ver con la incapacidad de los propios programadores para decir exactamente por qué se dio el resultado que se dio. Esto no significa que los programadores “no tengan idea” de lo que sucede, sino que da cuenta de la dificultad de explicar casos específicos cuando una decisión fue tomada en base al entrenamiento con enormes conjuntos de datos que producen modelos de clasificación que no son completamente predecibles.

Cuanto más nuestras vidas son atravesadas por procesos de decisión contenidos en “cajas negras”, mayor debe ser la transparencia que los gobiernos deben garantizarnos respecto de los mismos. Frank Pasquale, profesor de derecho estadounidense, escribe en Black Box Society (2015) que nuestro desconocimiento respecto de cómo funcionan los sistemas con los que interactuamos (no sólo digitales, sino también el sistema jurídico, penal, previsional, etcétera) nos vuelve vulnerables a injusticias y hace virtualmente imposible incidir en ellos.

Muchas veces se esgrime el dicho de que “la luz del sol es el mejor de los desinfectantes”. Fue Louis Brandeis, juez de la corte suprema de Estados Unidos, quien lo usó a principio del siglo XX en alusión a la importancia de la transparencia y la rendición de cuentas para garantizar un buen gobierno. En la actualidad es difícil dar cuenta de siquiera una sola cosa que hagamos a diario que no esté influenciada por la decisión de un algoritmo. Quizá es momento de hacernos más preguntas sobre cómo funciona el mundo a nuestro alrededor. Nos toca reclamar por el derecho a examinar y cuestionar la forma en que las decisiones que nos afectan son tomadas y abrir, una por una, estas “cajas negras”.

ADEMÁS

ENVÍA TU COMENTARIO

Ver legales

Los comentarios publicados son de exclusiva responsabilidad de sus autores y las consecuencias derivadas de ellos pueden ser pasibles de sanciones legales. Aquel usuario que incluya en sus mensajes algún comentario violatorio del reglamento será eliminado e inhabilitado para volver a comentar. Enviar un comentario implica la aceptación del Reglamento.

Para poder comentar tenés que ingresar con tu usuario de LA NACION.

Descargá la aplicación de LA NACION. Es rápida y liviana.