Se dispararon los costos de la IA y las empresas buscan la manera de reducirlos

“Va a ser una auténtica pesadilla”, afirma un ejecutivo de una importante empresa tecnológica estadounidense. Se refiere a un problema emergente para las empresas que utilizan inteligencia artificial. Los agentes de IA —bots capaces de leer, interpretar y actuar— consumen una enorme capacidad de procesamiento y ya están generando facturas astronómicas. A medida que se multipliquen, el problema se agravará. Las grandes empresas, señala el ejecutivo, suelen utilizar cientos de programas informáticos. Si cada uno de ellos ofrece agentes (como probablemente sucederá), los costos de la IA podrían dispararse fácilmente.

La gestión presupuestaria es una nueva preocupación para quienes adoptan la IA. No hace mucho, se animaba a los empleados a invertir masivamente en esta tecnología, ya que jefes e inversores veían el gasto como un signo de innovación. El consumo excesivo de tokens —los fragmentos de texto que procesan los modelos, a menudo utilizados como unidad de precio— se convirtió en un símbolo de prestigio; los expertos en tecnología lo apodaron “tokenmaxxing”. Las empresas exhibían el uso de la IA por parte de sus empleados en clasificaciones internas. La plataforma de Meta premiaba a los mejores usuarios con títulos como “Leyenda de los Tokens”.

Tales incentivos explican en parte el auge del gasto en IA. Otro factor que contribuye es un cambio en la forma en que las empresas utilizan la tecnología. Las aplicaciones que consumen muchos tokens, como los modelos de razonamiento y los agentes, son cada vez más populares. En algunos casos, los agentes crean sus propios agentes, lo que eleva aún más los costos. Ramp, un proveedor de tarjetas de crédito corporativas, analiza los datos de transacciones de sus clientes para arrojar luz sobre cómo utilizan la IA. Calcula que su gasto total se ha multiplicado por 13 en el último año. En abril, Uber dijo que ya había gastado su presupuesto anual de IA en cuatro meses. Otras empresas están experimentando problemas similares. Según se informa, una de ellas gastó US$500 millones en tokens de IA en un mes. Sam Altman, el jefe de OpenAI, ha descrito los crecientes costos para los clientes como “un problema enorme”.

Por ahora, el problema está concentrado. Los que más gastan suelen ser las empresas tecnológicas, porque son las primeras en adoptar la tecnología y porque la IA es particularmente buena para escribir software. Ramp calcula que el 1% de los clientes que más gastan en IA por empleado acumulan facturas de unos US$7450 por persona al mes en promedio. Eso se compara con solo 11 dólares para el cliente promedio de Ramp. Y aunque las facturas de IA de los grandes gastadores son bajas en comparación con el costo de contratar a un desarrollador en San Francisco, son altas en comparación con emplear a uno en Delhi (India).

Las empresas están respondiendo de diversas maneras. Aunque los rezagados en IA todavía se apresuran a adoptar la tecnología, para los usuarios más intensivos el “tokenmaxxing” ha terminado. Algunos, incluidos Meta y Amazon, han eliminado sus tablas de clasificación. Muchos están pensando más cuidadosamente sobre la elección del modelo. Muchas tareas no requieren modelos costosos y de vanguardia. Aran Khanna de Archera.ai, que ayuda a las empresas a reducir sus costos en la nube, señala que en algunos casos Sonnet, un modelo de Anthropic que no es de vanguardia, puede costar una vigésima parte de lo que cuesta Opus, uno de vanguardia. Y Kimi, un modelo de código abierto de Moonshot AI, una startup china, puede costar una vigésima parte de eso.

Otro enfoque son los límites de gasto. Uber ha limitado a sus empleados a US$1500 en tokens cada mes por herramienta de codificación. La forma en que las empresas eligen asignar los tokens depende de dónde puedan generar el mayor valor a partir de la IA, dice Rachel Laycock de Thoughtworks, una consultora. Eso a menudo significa que las empresas asignan la mayor cantidad de tokens a su función comercial principal, como los ingenieros en una empresa tecnológica, añade.

Algunos proveedores de software que incorporan IA en sus productos están experimentando con nuevos planes de precios, como los basados en resultados, para aliviar la preocupación de los clientes por los costos. Intercom, un proveedor de software, ofrece un servicio mediante el cual el cliente paga solo por las consultas que son resueltas por su agente de soporte técnico. Los grandes proveedores de la nube también han lanzado servicios de gestión de costos, que incluyen herramientas de presupuestación y formas de clasificar las consultas hacia el modelo más apropiado.

Para los creadores de modelos, el acto de equilibrio es más complicado. Quieren que sus clientes más importantes utilicen tantos tokens como sea posible sin que se resistan al costo. Hoy en día, el costo de proporcionar servicios de IA está subsidiado por los laboratorios. De hecho, el plan de OpenAI para ganar clientes de Anthropic supuestamente implica recortes drásticos de precios. Pero eventualmente los creadores de modelos necesitarán obtener ganancias, lo que significará aumentar los precios. La presión para hacerlo solo se intensificará más adelante este año si, como se espera, Anthropic y OpenAI salen a bolsa. Sus clientes, entonces, pueden esperar facturas de IA aún más asombrosas.

The Economist

• Inteligencia artificial
• Tecnología
• Software

---

Conforme a

Salto tecnológico. Los algoritmos abrieron la tranquera y aceleran el cambio

Opinión. La revolución silenciosa del empleo en el campo ya comenzó en la Argentina

Alta capacidad de trabajo. Cómo es la cosechadora más grande en el mundo de una marca