Google le cerró la cuenta a un padre por mandarle fotos de su hijo al pediatra, y además dio aviso a la policía

El dato posiblemente ya llegó a tus oídos: en febrero de 2021 un padre envió fotos de las partes íntimas de su hijo al pediatra (a pedido del médico, en plena pandemia), fotos que habían sido tomadas a su vez por su madre y en una de las cuales se veía la mano del padre (llamado Mark). Como resultado ocurrieron dos cosas. Una buena y previsible: el médico recetó unos antibióticos y el chico se curó.

La segunda fue distópicamente cruel: el sistema de inteligencia artificial que Google usa para detectar abuso sexual infantil entendió que las fotos que Mark le envió al médico calificaban como tal crimen aberrante y no solo le cerró todas las cuentas y el servicio de telefonía (llamado Google Fi), sino que además dio parte a la policía, que, como corresponde inició una investigación.

La policía notificó de la investigación en curso a Mark, en el que debe haber sido uno de los peores días de la vida de este programador, pero luego no encontró razones para seguir adelante y cerró el caso. Google, sin embargo, hasta ahora no reactivó la cuenta, y no solo asegura –según The New York Times, que fue quien primero dio a conocer esta historia– que la decisión que tomó fue la correcta, sino que no reabrirá la cuenta de Mark.

Todo bien, todo mal y ninguna de las dos cosas

Obviamente, la opinión se polarizó. Por un lado, las asociaciones que luchan contra el abuso sexual infantil y deben lidiar con números escalofriantes de imágenes sospechosas (unas 80.000 por día), sostienen que el sistema funcionó como corresponde y que Google hizo bien su trabajo al detectar las fotos de Mark y dar parte a la policía. Por el otro, las organizaciones que intentan defender los derechos civiles de los ciudadanos en internet (también lidiando con cifras exorbitantes), como la Electronic Frontier Foundation (EFF), pusieron el grito en el cielo. Ambas tienen razón. El único actor en este caso que cometió un error grave fue Google.

La historia es así: todas las empresas que brindan servicios en internet escanean nuestras imágenes toda vez que las colocamos en la nube. ¿Por qué? Básicamente, para evitarse problemas con la ley, y muy probablemente también porque los crímenes que intentan detectar son aberrantes, con el abuso sexual infantil a la cabeza. Lo lógico y lo que se venía haciendo hasta hace poco era algo semejante a lo que hace Shazam para decirte el nombre de una canción que está sonando: comparar las imágenes con una base de datos de imágenes probadamente asociadas a abuso sexual infantil..

Por supuesto, ese método tiene un problema. No puede detectar nuevas imágenes de pedofilia, porque no las mira (esto entre comillas), sino que compara hashes. Para intentar resolver esto, Google desarrolló en 2018 un software de inteligencia artificial (IA) que analiza las imágenes en busca de signos de abuso, aun cuando sean completamente nuevas. En teoría, una herramienta excepcional. Pero, sin darse cuenta, sin siquiera imaginar lo que pasaría, preocupados por la salud de su hijo, Mark y su esposa sacaron una foto que tenía todos los signos para darle a pensar a la IA (un moderador humano la habría descartado en medio segundo) que se trataba de un acto criminal horrendo.

Los pedófilos han encontrado en internet y en la digitalización un número de facilitadores para sus prácticas, que son monstruosas. Los responsables de perseguir a estos criminales también realizan su trabajo echando mano de herramientas de alta tecnología, como la ya mencionada PhotoDNA, de Microsoft, y lo hacen en general en condiciones adversas y silenciosamente, como el que lucha contra el narcotráfico o la mafia.

Pero el caso de Mark, que más de un año y medio después todavía no se recupera del incidente, deja en evidencia los límites de la IA. Google conoce bien esos límites, pero cuando dice que se mantiene en sus trece admite que prefiere crearle una pesadilla (y eventualmente una causa penal injustificada) a un cliente antes que dejar pasar una imagen de pedofilia sin detectar. Lo que suena más que aceptable.

Aparte del tema de la privacidad, que abordaré en un segundo, sí, definitivamente es más grave el abuso de un chico que perder tu cuenta de Gmail. El único pequeño problema es que este razonamiento es inválido. Si la IA se equivoca produciendo un falso positivo, puede asimismo dejar pasar verdaderas imágenes de abuso sin detectarlas. Simplemente, en su estado actual, la IA ha demostrado ser incapaz de interpretar correctamente la realidad. Es decir: el caso de Mark ofusca el escenario opuesto, uno en el que la visión artificial es incapaz de detectar los signos de abuso en una imagen, y la deja pasar.

No es una caja con tus fotos

Por supuesto, además está el tema de la privacidad. En ese aspecto, lo que vivió Mark sirve para echar luz sobre el hecho, que algunos advertimos desde hace muchos años, de que nada de lo que ponemos en internet es visto solo por nuestros amigos, contactos, seguidores y familiares. Conocidos míos que con frecuencia publican fotos de sus hijos en situaciones cotidianas que, sin embargo, la IA podría encontrar sospechosas, recordarán la cantidad de veces que les recomendé que no subieran fotos de sus hijos. Pero con una vuelta de tuerca: el pedófilo está a la caza de esta clase de imágenes, y ningún padre en su sano juicio quiere exponer a sus criaturas a algo así. No son malos padres. Todo lo contrario. Pero las redes sociales en general nos han hecho tener la sensación, enteramente falsa, de que tenemos alguna clase de privacidad en internet. No es así. El caso de Mark lo demuestra sin dejar lugar a dudas.

Estoy a la espera de una respuesta sobre este asunto de parte de Google, si es que decide concedérmela. Pero quiero insistir sobre varios puntos. La pedofilia es una aberración. Basta hablar con las víctimas de este crimen para entender el daño devastador que causa el pedófilo. La tensión que existe entre la lucha contra el crimen y la privacidad es lógica y comprensible en un cambio de paradigma técnico como el que estamos viviendo, y que seguiremos viviendo durante mucho tiempo más. Y es también saludable. De esa tensión surgen las decisiones más inteligentes y efectivas.

Lo censurable aquí es, incluso cuando no quiero restarles a los investigadores de Google su cuota de buena intención, el haberle dado a la IA una tarea para la que no está preparada. Hace unos cuantos años le pregunté a Google sobre las decisiones éticas que, llegado el caso, debería tomar la IA de un coche autónomo. Me dijeron que ese no era un asunto que fuera de su incumbencia. Estoy seguro de que Mark no piensa lo mismo.