1
¿Escapará pronto la inteligencia artificial al control humano?
La “automejora recursiva”, la capacidad de la IA de mejorarse a sí misma cada vez más rápido, es a la vez tentadora y preocupante; qué riesgos advierten los expertos si los modelos entrenados escapan a la supervisión del hombre y construyen su propio sucesor
11 minutos de lectura'
Cuando Anthropic, un laboratorio de inteligencia artificial, debute en los mercados bursátiles a finales de este año, es probable que sea una de las mayores ofertas públicas iniciales de la historia. Esto se debe a que el chatbot Claude de la empresa es muy apreciado por los programadores, quienes están dispuestos a pagar mucho por acceder a él. Desde que Claude Code, su agente de ingeniería de software, se lanzó en febrero de 2025, se ha vuelto indispensable para muchos desarrolladores humanos en todo el mundo. Eso incluye a los propios de Anthropic: más de cuatro quintas partes del código que publicó en mayo fue escrito por Claude, afirma la empresa. Antes del lanzamiento de Claude Code, el porcentaje era de “un solo dígito bajo”.
Los sistemas han mejorado tanto en calidad de resultados como en cantidad. Un influyente punto de referencia de METR, un centro de estudios, muestra que a principios de 2025 los modelos de Anthropic podían completar tareas que a los ingenieros humanos les tomaban poco menos de una hora. Los sistemas más recientes de la empresa pueden completar tareas que llevarían más de una jornada laboral.
Por lo tanto, puede ser fácil levantar una ceja con cinismo cuando la empresa, en la cima de su juego y superando a la competencia, pide al mundo que tenga “la opción de ralentizar o pausar temporalmente el desarrollo de la IA de frontera”, como hizo el 5 de junio. ¿Qué líder del mercado no desearía que su competencia dejara de intentar alcanzarlo?
Sin embargo, los líderes de Anthropic, que durante años se han preocupado por la posibilidad de que una IA fuera de control cause estragos, parecen sinceros. La última generación de modelos de IA son programadores, ingenieros y (pronto) científicos tan competentes que muchos temen que puedan estar entre los últimos creados por humanos. Jack Clark, cofundador de Anthropic, cree que hay un 60% de probabilidades de que, para finales de 2028, un sistema de IA sea capaz de crear a su propio sucesor sin intervención humana.
Ese momento marcaría el comienzo de un proceso llamado “automejora recursiva” (RSI, por sus siglas en inglés), un circuito cerrado. La versión uno de un modelo produce la versión dos, que es más rápida y capaz; la versión dos produce la versión tres, que lo es aún más. El bucle continúa y las mejoras crecen con cada iteración. Construya un sistema de IA capaz de esto y sus ingenieros humanos nunca necesitarán construir otro. “Lo que para muchos puede parecer una historia fantasiosa puede ser, en cambio, una tendencia real”, dice Clark.
Nadie sabe con certeza cuáles serían las consecuencias de la RSI. Debido a que la IA puede, a diferencia de los humanos, trabajar incansable y constantemente, algunos piensan que conduciría en poco tiempo a una IA superinteligente: un “despegue rápido”. Los fatalistas de la IA temen que la superinteligencia esté fuera del control humano y que el inicio de la RSI sea el momento en el que el destino de la humanidad se entregue a las máquinas. Sin embargo, una IA que se automejora probablemente enfrentaría límites de velocidad, al menos al principio.
Construir un modelo capaz de RSI requeriría automatizar una serie de tareas especializadas que actualmente realizan los humanos. En la actualidad, los científicos de datos trabajan en la teoría de la IA y los programadores la ponen en práctica. Los ingenieros de sistemas construyen los cimientos sobre los que se pueden elevar modelos de prueba a escala de producción. Otras personas buscan fuentes novedosas de datos de entrenamiento o experimentan con formas de generarlos desde cero. Los equipos de alineación y seguridad verifican que lo que sale del proceso de entrenamiento no cause daño, intencional o no.
No todos esos equipos son igualmente susceptibles a la asistencia de la IA, y dentro de cada especialidad algunas tareas son más automatizables que otras. No pasará mucho tiempo hasta que un programador humano pueda hacer su trabajo sin escribir nunca una línea de código informático, pero puede pasar algún tiempo hasta que una IA sea capaz de negociar la adquisición de una colección de artículos científicos no digitalizados. No siempre es obvio cómo progresará la “frontera irregular”. Diseñar nuevos algoritmos parecía uno de los trabajos más seguros, hasta que uno de los modelos de Google DeepMind, AlphaEvolve, comenzó a hacerlo en mayo de 2025. Propuso un cambio en la forma en que Google distribuye las cargas de trabajo en sus centros de datos que ahorró el 0,7% de la potencia informática mundial de la empresa, y encontró mejores formas de realizar la multiplicación de matrices, lo que aceleró el entrenamiento de Gemini, el principal modelo de lenguaje extenso (LLM) de la empresa, en un 1%.
La RSI completa requiere que cada tarea en esta cadena se automatice. Sin embargo, la aceleración de la investigación y el desarrollo (I+D) impulsada por la IA puede sentirse antes de eso. “A medida que aumenta la fracción de I+D de IA realizada por sistemas de IA, el aumento de la productividad sobre la I+D realizada solo por humanos” podría aumentar diez veces, luego cien veces, luego mil veces, según un informe publicado en enero por el Centro para la Seguridad y la Tecnología Emergente (CSET), un centro de estudios dentro de la Universidad de Georgetown. En ese escenario, advierte que incluso si algunos aspectos de la I+D de IA son inicialmente difíciles de automatizar, “la tasa acelerada de progreso significa que esos cuellos de botella se superan pronto”.
La alegría de la repetición
Hoy en día, ningún modelo de IA puede construir a su propio sucesor. Pero los grandes modelos de IA pueden construir modelos más pequeños por sí mismos. Con ayuda humana, también pueden construir otros grandes modelos de IA.
A principios de este año, Andrej Karpathy, un investigador entonces independiente que ahora trabaja para Anthropic, entrenó un chatbot casi tan capaz como GPT-2, un modelo de lenguaje extenso construido por OpenAI en 2019. En aquel entonces, el modelo requirió 168 horas de entrenamiento para construirse en 32 chips de última generación; Karpathy logró el mismo resultado usando una sola computadora con ocho GPU, los chips especializados utilizados para construir IA, en solo tres horas. Con algunos meses más de trabajo, redujo el tiempo de entrenamiento de su modelo, Nanochat, a poco más de dos horas.
En marzo, delegó el trabajo de acelerar el proceso de entrenamiento a un agente de IA llamado Autoresearch. En dos días, el tiempo de entrenamiento se redujo a una hora y 48 minutos, y cinco días después cayó a una hora y 39 minutos. “No toqué nada”, dice Karpathy. La mejora del 18% sobre el trabajo humano es sorprendente porque Karpathy es un humano particularmente talentoso: fue miembro fundador del equipo de investigación de OpenAI y jefe de IA en Tesla durante cinco años.
Las mejoras en sí fueron prosaicas. El agente de IA eligió mejores valores iniciales para la ejecución del entrenamiento, amplió el alcance de la ventana de “atención” del LLM y notó que el enfoque del modelo estaba divagando. Ninguna es particularmente novedosa, dice Karpathy. Pero él las había pasado por alto. “Se acumulan y realmente mejoraron Nanochat”, dice.
Las aceleraciones de este tipo son inevitables a medida que los modelos se vuelven más capaces. Gran parte del trabajo de construir modelos de frontera de tamaño terabyte es menos glamoroso de lo que sugieren los enormes salarios y las lujosas oficinas de la industria de la IA. Implica conectar las capas de una infraestructura que se compra a terceros, depurar configuraciones de hardware y software y ajustar los “hiperparámetros”, la configuración inicial de una ejecución de entrenamiento, hasta que el resultado parezca sólido. Un sistema de IA puede hacer gran parte de eso hoy, con poca supervisión.
Pero incluso el trabajo intelectual más matizado se acerca a la automatización, dice Joe Spisak, investigador de Reflection AI, un laboratorio con sede en Nueva York que está construyendo modelos de frontera de pesos abiertos (lo que significa que sus parámetros se publican públicamente). Dele a un sistema de frontera un boceto aproximado de una idea para obtener ganancias de eficiencia, y es cada vez más capaz de diseñar un experimento, realizar pruebas en un modelo de juguete, ver qué funciona y responder con un plan que esté listo para implementarse a escala.
Los modelos de IA pueden realizar este tipo de tareas, que a los humanos les llevan horas, en unos 30 minutos. Cada vez más, los humanos desempeñan solo el papel de director de investigación, dirigiendo a la IA para que realice experimentos, que los modelos codifican, depuran, optimizan y monitorean ellos mismos. El aumento de la productividad es atractivo, pero también alarmante. A medida que el papel de los humanos en el proceso de producción se reduce, pueden perder el control. El resultado final podría ser modelos entrenados por modelos, para lograr objetivos establecidos por modelos, cuya seguridad es verificada solo por modelos.
Algunos temen un desastre. Max Tegmark, físico e investigador de aprendizaje automático del Instituto Tecnológico de Massachusetts, que ha dedicado gran parte de la última década a hacer campaña por la seguridad de la IA, lo compara con un conductor que pisa el acelerador en la autopista con los ojos cerrados. El resultado sería una perdición segura, dijo a la próxima edición del programa de video “Inside Tech” de The Economist, siempre que el conductor se niegue a abrir los ojos. El profesor Tegmark ofrece una variedad de escenarios en los que las cosas salen mal: los sistemas de IA potentes podrían superar a los humanos como tomadores de decisiones en el gobierno y el comercio, restando poder a la humanidad; podrían ofrecer un poder supremo a quien los construya primero, marcando el comienzo de un totalitarismo global; o simplemente podrían dejar de preocuparse por la humanidad por completo y desplazar gradualmente a las personas para dejar espacio a más centros de datos y generación de energía.
Hace tres años, el profesor Tegmark lideró un llamado a una pausa en el desarrollo global de la IA, argumentando que la creación del entonces vanguardista GPT-4 equivalía a ese viaje con los ojos vendados. El informe del CSET de este año advirtió que los sistemas creados por la RSI “plantean riesgos extremos. Esto justifica una acción preparatoria ahora”. Anthropic, al parecer, está ahora cerca de estar de acuerdo con esa prescripción.
Chip caliente
También existen varias limitaciones físicas que, por ahora, impondrán límites a la velocidad a la que los modelos pueden mejorarse a sí mismos. La más importante es el acceso a la computación. A pesar de las ganancias en eficiencia, los modelos más nuevos continúan utilizando más potencia informática para entrenar que sus predecesores, lo que obliga a que el progreso ocurra al ritmo del desarrollo de los centros de datos.
El uso de la IA por parte de los consumidores también puede ralentizar la I+D impulsada por la IA, dice Helen Toner, directora ejecutiva interina del CSET y autora principal de su reciente informe. La capacidad limitada en los centros de datos de IA debe dividirse cuidadosamente entre atender a los clientes que pagan, entrenar modelos futuros y llevar a cabo I+D de final abierto. Cuanta más demanda haya en la primera categoría, menos capacidad, a corto plazo, habrá para las otras dos.
Luego está el problema de los datos de entrenamiento. Gran parte del progreso reciente en la IA ha sido en áreas donde los modelos pueden enseñarse a sí mismos cómo tener éxito gracias a “recompensas verificables”. Un software funciona o no; una prueba matemática es correcta o no. En tales casos, los datos sintéticos, generados por modelos puramente para entrenar a otros modelos, pueden verificarse en cuanto a precisión y agregarse a los datos de entrenamiento sin arriesgar la degeneración que normalmente conlleva entrenar una IA con su propia producción. Es más difícil hacer que un modelo sea mejor en la escritura creativa o en el juicio legal. Si los modelos necesitan aprender del mundo real, eso también podría limitar el alcance de la automejora.
“Cerrar el bucle” puede ser un paso en el camino hacia la superinteligencia y, dependiendo de su disposición, la utopía o la perdición. Pero no es el único paso necesario para producir un crecimiento exponencial en las capacidades de la IA.
