Los peligros de confiar ciegamente en una aplicación

Piensa mal y acertarás. Lo recomienda el refranero y ahora también la Universidad de Princeton. Sus centros para los valores humanos (UCHV) y las políticas en tecnologías de la información (CITP) han mirado al futuro y se han puesto agoreros. El resultado de este ejercicio son cuatro casos de estudio ficcionales diseñados para fomentar la discusión entre la inteligencia artificial y la ética. Habrá que esperar para saber si han dado en el clavo con sus malos pensamientos. Lo que sí podemos hacer dedicar las próximas semanas a desgranar sus cuentos de terror.

La primera calamidad comienza con algo tan simple como una aplicación. ¿Hay algo más puro, más inocente que una app para facilitar el tratamiento la diabetes? Así nació Charlie: lleno de buenos propósitos. Y todo estuvo bien hasta que en su voluntad de mejorar, se creyó con derecho a decidir por sus usuarios, utilizarlos como conejillos de indias y saltarse la parte de pedir permiso. Esta es una historia de paternalismo, desequilibrio entre la libertad individual y el bienestar social, transparencia y consentimiento.

Charlie, el mejor amigo de tu diabetes

Nuestro protagonista funcionaba unido a smartwatches, monitorizaba la glucosa en sangre a través de la piel y establecía las dosis de insulina con máxima precisión.

Además, a diferencia de otros sistemas similares, Charlie tenía una plataforma de recolección de datos. Combinaba los datos de los usuarios con los almacenados en los archivos del hospital universitario y los utilizaba para optimizar aún más las dosis e incluso ofrecer recomendaciones a medida: "Haz un poco de ejercicio", "Cuidado con la dieta", "Acuérdate de comprobar tus niveles de glucosa en sangre"...

Otra cosa que incorporaba Charlie era un foro que, por un lado, servía para divulgar los últimos avances en investigación de la diabetes, por otro, brindaba a los usuarios una plataforma en la que comunicarse con otros afectados, creando una suerte de red de apoyo. Ya que estaba, Charlie se leía los mensajes y añadía los resultados de los análisis al perfil de cada usuario para incrementar aún más la personalización del tratamiento.

Todo iba bien hasta que las pruebas clínicas revelaron un impacto menor de la app en las minorías raciales. Además, en el foro proliferaron las discusiones en que los usuarios enarbolaban estudios científicos contradictorios. El tono negativo del debate empezó a ahuyentar a los participantes.

Charlie, tu peor enemigo

El equipo creado para corregir el rumbo de Charlie descubrió que la adherencia de los usuarios al tratamiento sugerido por la app variaba en función de su exposición a unos u otros contenidos científicos en el foro, así que se procedió a limitar el alcance de los artículos sobre desacuerdos en la comunidad científica sobre los usuarios de alto riesgo. Sin avisar.

En la misma línea, para aplacar las discusiones de los foros, se favoreció la aparición de artículos con puntos de vista más aceptados. Se añadieron incluso filtros individualizados de los contenidos, para crear una experiencia más placentera para cada usuario. Sin preguntar.

Por último, se establecieron distintos modos de prueba para probar qué aproximaciones eran más efectivas en el tratamiento de cada tipo de usuario. Así, en lugar de ofrecer el tratamiento idóneo a todos los usuarios, Charlie ofrecía soluciones menos óptimas para recopilar los resultados del tratamiento y enriquecer al algoritmo. El objetivo a largo plazo era mejorar el sistema con los datos recopilados. Pero se olvidaron de explicar el plan y pedir consentimiento a los usuarios.

Cuando la nueva y 'mejorada' versión de la app comenzó los ensayos clínicos, todo fue viento en popa: menos debates acalorados, mejor humor, más actividad en los foros... El aparente éxito explotó en las narices de los investigadores en cuanto comenzaron a publicar sus metodologías.

¿Qué hizo mal Charlie?

• Paternalismo: cada usuario tendría que ser libre para acceder a toda la información relevante y decidir por sí mismo qué creer y en qué sentido actuar. Charlie tendría que ayudar a los usuarios a buscar su propio bien a su manera.
• Libertad individual vs Bienestar social. A largo plazo, la nueva versión de Charlie podría haber mejorado la salud de la sociedad en general. Sin embargo, esta noble causa no mejora la perspectiva de los usuarios que han sido objeto de tratamientos no tan perfectos y se sienten utilizados. ¿El fin justifica los medios?
• Consentimiento y transparencia: ¿A vos te preguntaron? Porque a los usuarios no. La idea de que los tratamientos se habían establecido sin consentimiento alguno terminó de erosionar la confianza en la app.