1
Cómo medir los retornos de la IA
Después del entusiasmo inicial, las empresas empiezan a exigir resultados concretos; productividad, calidad, satisfacción y costos son algunas de las variables a seguir
5 minutos de lectura'
Al principio apareció la IA y los líderes de las empresas perdieron la cabeza: dijeron que todos debían usar esta tecnología, sin importar si era útil o cuánto costaba. Crearon rankings de uso de IA e inventaron palabras como “tokenmaxxing”. Y, efectivamente, el uso aumentó. Hasta que los jefes recordaron algunos conceptos muy básicos, como “presupuestos”, y se dieron cuenta de que quizás no había sido una idea tan buena después de todo. Entonces, en las salas de reuniones empezó a resonar una pregunta diferente: cuál era el retorno de la inversión. Y esa pregunta resultó bastante más difícil de responder.
Esta versión resumida de la génesis de la adopción de la IA no es del todo justa. Mientras las organizaciones estén intentando fomentar su uso, todavía puede tener sentido observar cuestiones como el consumo de tokens de los empleados. “Esperaría que los ingenieros de software gastaran más dinero que un analista financiero”, dice el jefe de una empresa de software. “Pero entre las personas del área financiera, el consumo no debería ser cero”.
Sin embargo, las métricas de uso —también conocidas como métricas de entrada— no permiten saber si se está generando algún valor. E incluso cuando la IA produce beneficios, señala Mika Ruokonen, de la Universidad LUT de Finlandia, muchos de los retornos se acumulan silenciosamente en los individuos, en forma de pequeños ahorros de tiempo. Si una o dos horas adicionales del tiempo de un empleado quedan liberadas para comprar productos en Vinted (una app especializada en productos de segunda mano), alguien se benefició —principalmente Vinted—, pero no la empresa en la que trabaja esa persona (a menos que trabaje en Vinted).
Poner el foco en los retornos de la inversión en IA implica concentrarse más en métricas basadas en resultados, como la productividad de los equipos o la satisfacción de los clientes. Pero esto requiere pensarlo cuidadosamente. Los científicos, por ejemplo, están utilizando IA para producir más artículos académicos (¡bien!) de mérito dudoso (¡mal!). Un estudio reciente de Tulsi Suchak, de la Universidad de Surrey, y sus coautores encontró que los trabajos derivados de una base de datos sobre salud y nutrición avanzaban a un ritmo promedio de cuatro por año entre 2014 y 2021. En los primeros nueve meses de 2024, se publicaron 190.
Por eso, las métricas basadas en resultados deben estar diseñadas para captar tanto los efectos positivos como los negativos de la IA. En Google, por ejemplo, los ingenieros llevan mucho tiempo siendo evaluados en tres dimensiones. Una es la velocidad: cuánto demora, por ejemplo, una revisión de código. Otra es la facilidad: cuánta fricción existe en el sistema para tareas como incorporar nuevos desarrolladores. La tercera, y fundamental, es la calidad. “No quiero simplemente ir rápido y hacer que sea fácil lanzar software terrible”, dice Richard Seroter, de Google Cloud.
Las cosas se complican todavía más porque los beneficios de la IA muchas veces tardan en aparecer. Las personas necesitan tiempo para aprender a utilizar la tecnología. Un aumento de la producción puede generar cuellos de botella en otras áreas. Un trabajo publicado el año pasado por Kristina McElheran, de la Universidad de Toronto, analizó la adopción de IA entre empresas manufactureras estadounidenses y confirmó la existencia de una “curva en J”: la productividad primero cae antes de empezar a mejorar. Este efecto es especialmente pronunciado en las empresas ya establecidas y parece explicarse, en parte, por cambios en las prácticas de gestión que anteriormente ayudaban a las compañías a controlar su desempeño. Cualquier cálculo sobre los retornos proyectados debe contemplar este período inicial de disrupción.
Los líderes también tienen que tomar una decisión sobre algo todavía más fundamental: ¿qué tipo de retorno están buscando? Una manera de mostrar retornos financieros de la IA es aprovechar los ahorros de tiempo como argumento para reducir la cantidad de empleados. Para algunos trabajos y en determinadas circunstancias, eso puede tener sentido. Pero las motosierras y la moral de los empleados combinan tan bien como la sal y las babosas. Además, las personas que ya no están en la empresa no pueden ser reasignadas a tareas más productivas. Una opción mejor es calcular cuánto dinero permite ahorrar la IA al evitar la necesidad de ampliar la plantilla. Determinar cuánto de los ingresos adicionales puede atribuirse a la tecnología es todavía más un arte; como mínimo, hace falta contar con buenos datos de referencia y una cultura de pruebas A/B para aislar sus efectos.
Por encima de todo esto existe una enorme incertidumbre sobre hacia dónde se dirige la IA. Eso constituye un argumento a favor de un tercer conjunto de métricas, que acompañen a las de entradas y resultados. Estas métricas, que Seroter denomina “basadas en la organización”, están más orientadas a medir qué tan bien se está gestionando el cambio. Pueden incluir datos sobre el nivel de satisfacción de los empleados con la manera en que se implementó la IA o los avances en la construcción de conocimientos y capacidades internas en áreas que la IA no vaya a automatizar.
Un enfoque obsesionado exclusivamente con el uso ignora la importancia de los retornos. Un enfoque rígido centrado únicamente en los retornos ignora la necesidad de seguir aprendiendo.
