¿Quién vigila a las máquinas cuando gobiernan?

La semana pasada me tocó estar al frente de un curso sobre filosofía de la inteligencia artificial. Alcanzaron los primeros quince minutos para dejar en claro que la predominancia de ficciones distópicas, lejos de colaborar con la discusión pública, tienden a alejarnos de las discusiones sobre riesgos concretos que tiene el uso de algoritmos que podrían tener impacto en la sociedad.

Sacándonos rápidamente de encima a Skynet, aprovechamos para discutir varios escenarios actuales, concretos, en los que se usan algoritmos de " inteligencia artificial " cuyos resultados se traducen en cambios en las vidas de las personas. Tiene muchos menos efectos especiales, pero en algunos casos puede ser igualmente tétrico.

No pensamos justamente en "inteligencia artificial" cuando usamos el GPS para que nos recomiende la ruta con menos tránsito o cuando nuestro correo electrónico detecta automáticamente un correo como spam. Pero se vuelve un poco más interesante cuando se trata de algoritmos que hacen sugerencias sobre cómo deben resolverse expedientes jurídicos, predicen cómo va a fallar un juez (lo que permite armar el caso de tal manera de explotar ese conocimiento) o deciden si una persona debería salir de la cárcel o quedar presa. Ni hablemos de los vehículos que se manejan solos.

Comentando acerca de la posibilidad de establecer marcos regulatorios para los desarrollos de inteligencia artificial, Obama decía en 2016 que su política se resumía en que "florecieran mil flores". Es innegable que este tipo de políticas hizo posibles desarrollos fascinantes como la detección temprana automática de tumores o la traducción automática de idiomas.

Pero incluso Obama, en aquella misma entrevista, agregaba que "a medida que emergen y maduran las tecnologías, resolver cómo incorporarlas a los marcos regulatorios existentes se vuelve cada vez más difícil, y el gobierno debe involucrarse más." Esto no implica que se deba forzar a que nuevos desarrollos tecnológicos encajen a la fuerza en viejos marcos regulatorios, sino que se incorporen nuevos valores y preocupaciones en ellos. "De lo contrario", dice Obama, "podríamos encontrar que podrían quedar en desventaja distintos grupos de personas".

Es en torno a este tipo de preocupaciones que el AI Now Institute, fundado en 2017 para investigar las implicancias sociales de la inteligencia artificial, presentó ayer un documento(PDF) en el que se hace una serie de recomendaciones para evaluar el impacto que podría tener un algoritmo al incorporarse en el ámbito público.

Impacto del algoritmo en lo público

Este documento, que tiene cierto parentesco con los esquemas de Evaluación de Impacto Ambiental que se utilizan desde los años 60, está diseñado para asistir al público y los gobiernos respecto del alcance, capacidades e impacto indirecto que podría tener un algoritmo en el ámbito público. Pero además el documento hace recomendaciones respecto de cómo la sociedad puede involucrarse para poder articular denuncias si encontrara que estos algoritmos se comportan de forma sesgada o injusta.

"Si los gobiernos implementan sistemas en poblaciones humanas sin esquemas que contemplen la rendición de cuentas," señala el documento, "se pone en riesgo la pérdida de contacto con cómo se toman las decisiones. Esto las vuelve incapaces de saber si hay sesgos, errores u otros problemas." Si no sabemos cómo funcionan las instituciones gubernamentales, menos poder tendremos para cuestionar o apelar sus decisiones.

Según la propuesta de AI Now, una Evaluación de Impacto Algorítmico (EIA) debería primero enfocarse en definir el sistema que el gobierno quiere usar, pero esta definición no debería ser tan amplia que hasta el uso de un corrector ortográfico debiera ser evaluado públicamente, ni tan restrictiva que pudieran quedar afuera algoritmos como los que se usan para repartir recursos entre municipios.

Al momento de informar acerca de los algoritmos que el gobierno pretende utilizar, además, no sólo debería informarse respecto de su funcionamiento matemático sino también respecto de cómo se recolectará la información necesaria para entrenarlo y de quién interpretará sus resultados.

Pero quizá una de las recomendaciones más notorias es la de involucrar a la sociedad civil desde el comienzo. Esto podría lograr evitar que un municipio incorporara algoritmos de predicción del crimen, de vigilancia masiva, de asignación automática de recursos, entre otros, sin que esto fuera evaluado adecuadamente por la propia sociedad a quien se supone estos algoritmos deberían servir.

La sociedad civil, sin embargo, no debería quedar limitada a hacer evaluaciones preliminares sino que debería estar involucrada en el monitoreo constante del modo en que los algoritmos de toma de decisiones son utilizados. En la mayoría de los casos los sesgos —tanto estadísticos como normativos— sólo se detectan luego de haber ocurrido. Es por esto que al incorporar algoritmos en el gobierno también deben incorporarse esquemas de auditoría permanente.

Decisiones públicas con métodos privados

Y es frente a este último punto donde muchas veces se pone el grito en el cielo. Los sistemas que los gobiernos muchas veces compran para asistir en la toma de decisiones suelen estar protegidos por las leyes de propiedad intelectual. Eso, naturalmente, hace que quienes los desarrollan procuren mantener cualquier ojo inquisidor bien lejos.

Escudados en las leyes de propiedad intelectual y su derecho al secreto comercial, estos proveedores suelen impedir que sus sistemas sean correctamente escudriñados. Ante esto los autores del documento son muy claros: "Si un proveedor se opone a una revisión externa [de su sistema], esto indica un conflicto entre su sistema y la rendición de cuentas ante el público."

La solución podría parecer incluso obvia: toda empresa que quiera desarrollar software utilizado de manera crítica por un gobierno deberá renunciar a toda información necesaria para el testeo, validación y verificación de su funcionamiento e impacto. Puesto como criterio de adquisición, esto podría fomentar la competencia por la transparencia para lograr los codiciados contratos gubernamentales.

Las discusiones públicas acerca de la incorporación de algoritmos en el gobierno y de su impacto deben abandonar la pereza intelectual de discutir acerca del futuro del trabajo y los trabajos del futuro y, en cambio, propiciar más espacios e intercambios acerca de los algoritmos que hoy empiezan a afectar a la sociedad civil.

Suele pasarse por alto la distinción entre la ética de las máquinas, regida en la imaginación popular por las leyes de la robótica de Asimov y enfocada en la forma en que un agente automático se comporta, y la ética de la inteligencia artificial. Es este último campo el que se encarga de estudiar el impacto social que los sistemas de inteligencia artificial podrían tener a partir de las decisiones tomadas por sus diseñadores y sus usuarios.

No vamos a estar mucho más preparados para enfrentar los riesgos de la automatización en la toma de decisiones mientras sigamos reduciendo la discusión al dilema del tranvía. Quizá sea prudente pasar a atender problemas más interesantes.