Qué es lo que reconoce un algoritmo cuando analiza una obra de arte

El algoritmo está triste. Ha aprendido a reconocer objetos. No se le da del todo mal identificar expresiones faciales. Está empezando a distinguir con acierto contenidos violentos u ofensivos. Extrae textos, detecta logotipos, localiza estructuras famosas, diferencia los colores... Pero la obra de Kandinsky no le dice nada.

En la Mujer con mandolina de Georges Braque, cree ver un sitio arqueológico. Si le enseñan la pieza de René Magritte, Ceci n'est pas une pipe (esto no es una pipa) él no puede hacer otra cosa que ver la maldita cachimba marrón. Eso sí, reconoce con precisión hexadecimal cada matiz cromático: desde el naranja grisáceo que se extiende por un 13% de la pieza (#B99979), hasta el negro (#1B1007), que ocupa la cuarta parte.

¿Qué tendrá el algoritmo? ¿Estará atontado? La respuesta a esta pregunta ronda el sí pero no. "Hoy en día, obras de arte como esta suponen dificultades para el aprendizaje automático convencional. Los sistemas actuales son solo una muestra superficial de la capacidad humana. Con frecuencia son simples filtros conceptuales, expertos en una capacidad, y carecen de la inteligencia integrada para entender los aspectos más sutiles del arte", explica Matt Watts, responsable de estrategia de datos y director de tecnología en NetApp.

En mitad del torbellino de sistemas de inteligencia artificial capaces de producir diversas obras artísticas, desde piezas literarias, musicales, pintar cuadros y hasta defender sus ideas en debates con interlocutores humanos, la interpretación de obras de arte abstractas, no figurativas, es una asignatura pendiente. Y todo apunta a que va a seguir siéndolo.

Todos los cuadros son iguales

No es que no distinga el arte. Hasta ahí llega en la mayoría de los casos. Ante una acuarela de Kandinsky, la API Vision de Google Cloud (una tecnología utilizada en comparador de selfies y obras de arte de Google Arts & Culture) propone etiquetas como "arte", "ilustración" y "diseño gráfico". También reconoce las líneas y en algún punto de la imagen afirma ver un ala.

En la Mujer con mandolina de Braque devuelve incluso las etiquetas "arte moderno" y "pintura". Sabe que es una creación artística de algún tipo, pero no llega a identificar la figura femenina de inspiración cubista ni el instrumento musical. Sabe lo que está viendo, en líneas generales, pero no termina de entenderlo. Ojo, no consigue etiquetar los elementos que aparecen en la imagen, pero sí puede asociar la imagen a las palabras clave de búsquedas que desembocan en la aparición de esta obra entre los resultados. Podría decirse que el cuadro está catalogado.

¿Qué pasa cuando la obra es nueva? ¿Y cuando el sistema no cuenta con el poderío de Google y su API sabelotodo? "El arte y las redes neuronales no son una gran combinación", afirma Tanmay Bakshi, experto en inteligencia artificial y consultor para empresas como IBM o Apple. Para él, el problema es formal. "Los datos estructurados son la base de las computadoras personales. Después tenemos los datos ligeramente desestructurados, como el lenguaje natural, los datos visuales o los de audio".

Y en el último escalón de complejidad están los datos abstractos, como el arte. "No creo que estos sean algo para cuya interpretación vayamos a poder utilizar nuestros algoritmos de machine learning actuales", sentencia Bakshi. ¿Por qué? "Porque son algo profunda e instintivamente humano". Watts coincide con él en las dificultades que entraña no ya identificar objetos que no están inequívocamente retratados, sino extraer un sentido de la obra. Sin embargo, se muestra algo más optimista: "Hoy en día podríamos construir un sistema capaz de confirmar que las palabras no corresponden con la imagen -como ocurre con la pipa de Magritte-, pero ciertamente no seríamos capaces de enlazar esto a significados más profundos. Con el tiempo, esto podría cambiar, y cuando lo haga, estaremos entrando en el terreno de la inteligencia artificial general".

¿Algoritmosplaining?

Si los algoritmos las están pasando así de canutas para entender el arte, ¿por qué estamos tan seguros de que son capaces de engendrarlo? Para empezar, Bakshi no cree que la inteligencia artificial pueda generar obras de arte. Perdió la esperanza después de crear una app que analizaba sonatas compuestas por Mozart y Beethoven para crear nuevas melodías. "Es simplemente un sistema de reconocimiento y síntesis de patrones. Aunque lo entrenase con sonatas de piano y montones de géneros distintos, nunca podrá concebir una idea nueva", concluye el desarrollador.

No es que los algoritmos tengan que dedicarse a otra cosa. Aunque, se cumplan las predicciones de Bakshi y jamás alcancemos una inteligencia artificial general capaz de captar la ironía de la representación de la pipa, tiene sentido que sigamos profundizando en este campo. "Recientemente me hablaron de una startup que está tratando de autentificar obras de arte reconociendo el estilo, el uso de color y los patrones de las pinceladas. Estos datos se almacenarían posteriormente en blockchain para asegurar los detalles y dar trazabilidad a la propiedad de la obra con el objetivo de evitar la subasta de piezas robadas o falsificadas", comenta Watts.

¿Y si creamos imaginaciones enfermas?

En el Media Lab del Massachussetts Institute of Technology (MIT) parece que ya lo han hecho. Aunque no lo han aplicado al arte, sino al reconocimiento de imágenes del test de Rorsach.

La inteligencia artificial que han bautizado como Norman es la prueba virtualmente viviente de que los recursos empleados para el entrenamiento de los algoritmos de machine learning no son inocuos. "Norman ha sufrido una gran exposición a los rincones más oscuros de Reddit", explica el equipo.

¿Y el resultado? El primer psicopata artificial. Donde un sistema normal ve un grupo de pájaros sentados en lo alto de la rama de un árbol, Norman ve un hombre electrocutado.