Las empresas impulsaron el tokenmaxxing, pero les resultó carísimo y ahora deben cambiar de estrategia de uso de la IA
Excederse en la cantidad de tokens que usa una IA para cumplir con una tarea puede resultar en un costo operativo injustificable; cambia la visión de cuánto usar la IA a nivel corporativo
6 minutos de lectura'
A principios de este año, el mensaje de las empresas tecnológicas para los empleados era claro: utilicen tanta inteligencia artificial en su trabajo como sea posible.
Los empleados lo llamaron “tokenmaxxing” (maximización de tokens), donde un token se refiere a una unidad de uso de IA aproximadamente equivalente a un fragmento de palabra. Los empleados de Meta y Amazon incluso compitieron en tablas de clasificación que registraban el uso de tokens.
Luego llegaron las facturas de las empresas que proporcionan herramientas de IA, como Anthropic y OpenAI, y no eran baratas. Ahora la era del tokenmaxxing parece haber terminado.
Meta dijo a los empleados la semana pasada que pronto limitaría el uso de IA tras ver un “aumento exponencial” en los costos. En mayo, Uber dijo que había agotado su presupuesto proyectado de gasto en IA para el año en solo cuatro meses, y ha impuesto algunos límites mensuales a las herramientas de programación con IA. Walmart también estableció límites para diferentes herramientas de IA. Y Amazon y Meta han retirado las tablas de clasificación de tokenmaxxing.
En otras palabras, ahora está de moda el “tokenminning” (minimización de tokens), abreviatura de “token minimizing”.
El giro radical, en cuestión de pocos meses, subraya cómo el uso de la IA sigue en constante evolución mientras la gente intenta descifrar cómo utilizar mejor las herramientas.
“El mayor problema es que todo esto está cambiando tan rápido que la gente y las empresas no saben qué hacer”, dijo Rob May, director ejecutivo de Neurometric, una startup que ayuda a las empresas a utilizar mejor la IA, y autor de The Tokenminning Manifesto (El manifiesto de la minimización de tokens).
“Los directores ejecutivos que no sabían cómo medir la destreza en IA de sus empleados pensaron: ‘Bueno, ¿quién está usando más tokens?’”, dijo, y agregó que esa filosofía terminó promoviendo el volumen por encima de la eficiencia.
OpenAI y Anthropic ofrecen suscripciones que cuestan entre 10 y 200 dólares al mes por el uso de sus modelos de IA; cuando los suscriptores alcanzan su límite de uso, se les corta el servicio. Pero la mayor parte de los ingresos proviene de ofrecer herramientas a empresas como Meta, Shopify y Amazon, que pagan no solo las tarifas de suscripción, sino también por los tokens utilizados por sus decenas de miles de trabajadores. Por lo tanto, cuantos más tokens se usen, más dinero cuesta la IA.
Una tarea simple, como pedirle a la IA que resuma la transcripción de una reunión de la empresa, puede usar unos pocos cientos de tokens. Las solicitudes más complejas, como escribir código para construir un nuevo producto o función, pueden usar decenas de miles.
Los costos de usar modelos de IA se han disparado a medida que se han vuelto más potentes y consumen más tokens. El modelo de IA más reciente de Anthropic, Fable, es el doble de caro que su modelo anterior, Opus. Aunque existen modelos más baratos, muchos empleados han caído en el hábito de usar los modelos más potentes para todo, dijo el Sr. May.
La forma en que la gente usa la IA también ha cambiado. En lugar de limitarse a conversar con chatbots de IA, los ingenieros despliegan “agentes” de IA, que pueden trabajar en tareas complejas durante horas seguidas. Como resultado, los ingenieros pueden llegar a consumir decenas de miles de dólares en tokens cada mes.
Muchas empresas dijeron que estaban intentando ser más estratégicas con respecto al gasto en IA tras no ver retornos claros de su inversión.
“Si realmente no puedes trazar una línea directa hacia cuántas características y funcionalidades útiles estás lanzando, ese intercambio se vuelve más difícil de justificar”, dijo Andrew Macdonald, director de operaciones de Uber, en una entrevista reciente en un podcast. “Ese vínculo aún no existe”.
Eso no quiere decir que las empresas vayan a dejar de gastar a lo grande en IA. Meta dijo a sus empleados que estaba en camino de gastar miles de millones en el uso de IA este año, pero que quería “encontrar lugares donde podamos gastar menos obteniendo resultados comerciales similares o mejores”. Marc Benioff, director ejecutivo de Salesforce, la empresa de software empresarial, dijo que su compañía planeaba gastar cientos de millones en IA este año, pero que ahora rastreaba “unidades de trabajo agéntico” en lugar de tokens. Se supone que la nueva métrica mide el rendimiento, no solo el uso.
Los límites de Meta y Walmart al uso de IA por parte de los empleados fueron reportados previamente por The Information y Bloomberg.
No está claro cómo podría afectar el “tokenminning” a los ingresos netos de Anthropic y OpenAI. En el apogeo de la era del tokenmaxxing este año, las empresas de IA reportaron ingresos récord impulsados por el uso de herramientas de programación. La semana pasada, Meta ordenó a sus ingenieros utilizar su asistente de programación interno, MetaCode, en lugar de herramientas de terceros siempre que fuera posible.
Meta se negó a hacer comentarios, Anthropic no ofreció declaraciones y OpenAI no respondió a una solicitud de comentarios. (The New York Times ha demandado a OpenAI y Microsoft alegando infracción de derechos de autor de contenido de noticias relacionado con sistemas de IA. Ellos han negado las acusaciones de la demanda).
El camino claro a seguir para las empresas, dijo May, es utilizar IA de vanguardia solo en tareas complejas que la requieran y sustituirla por modelos más baratos para los demás casos.
Las empresas pueden ahorrar hasta un 90 por ciento al optar por modelos de IA menos avanzados, dijo Andy Markus, director de IA de AT&T. Mencionó que sus ingenieros utilizaban los modelos de IA más potentes para algunas tareas y los menos potentes para la mayoría de las demás acciones.
“Hay un flujo y reflujo”, dijo. “Lo que sí descubrimos es que, para la mayoría de los casos de uso, el modelo de frontera más nuevo y grandioso no es necesario”.
Más leídas de Tecnología
1EE.UU. prohíbe el uso de Fable y Mythos, los modelos de IA más avanzados de Anthropic, fuera del país
2Ya no es FOMO, sino FOBO, el nuevo concepto que trajo la era de la inteligencia artificial
3Líderes de grandes empresas piden a Trump levantar las restricciones que puso sobre Anthropic
4Fox compra la plataforma de Smart TV Roku para ampliar su llegada a más usuarios
