1
El jefe de seguridad de Anthropic dice que hay más de un 10% de probabilidad de que la IA mate a todos los humanos
La advertencia llegó después de la renuncia de un investigador que trabajó también en OpenAI y acusó a los principales laboratorios de avanzar hacia una superinteligencia sin controles suficientes
5 minutos de lectura'
LA NACION
SAN FRANCISCO.- El jefe de seguridad de Anthropic, Evan Hubinger, afirmó que existe más de un 10% de probabilidad de que la inteligencia artificial termine matando a todos los seres humanos durante la próxima década, una advertencia extraordinaria proveniente desde una de las compañías que lideran la carrera mundial por desarrollar los modelos más avanzados.
“Creemos realmente que la IA podría matar a todos los humanos”, escribió Hubinger en X. El responsable de seguridad de Anthropic estimó ese riesgo en “más de un 10%” dentro de los próximos diez años, en medio de una creciente preocupación dentro de la propia industria por la velocidad con la que evolucionan estos sistemas y por la posibilidad de que lleguen a escapar del control humano.
Sus declaraciones surgieron después de que Jacob Coxon, un investigador británico de 27 años que había trabajado primero en OpenAI y luego en Anthropic, anunciara que abandonaba por completo la industria y acusara a ambas compañías de “jugar con nuestras vidas”.
Coxon trabajó durante los últimos tres años en preentrenamiento, la etapa en la que los modelos de IA absorben enormes cantidades de información. Este año había dejado OpenAI para incorporarse a Anthropic, precisamente porque consideraba que su rival adoptaba una postura más prudente frente a los peligros de la nueva tecnología.
Sin embargo, el martes anunció también su salida de esa empresa.
“Ninguna de las dos compañías actúa de forma responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas”, escribió Coxon en un posteo en X que rápidamente se volvió viral.
Y agregó: “Las personas que están desarrollando la IA creen sinceramente que podría matarnos a todos antes de que termine la década. Esto no es una estrategia de marketing”.
Lejos de desmentirlo, Hubinger respaldó públicamente el núcleo de la advertencia y le puso una cifra concreta al riesgo.
Detrás de ese temor aparece uno de los escenarios más controvertidos que se discuten actualmente en Silicon Valley: la denominada “automejora recursiva”, por la cual un sistema suficientemente avanzado podría comenzar a diseñar versiones cada vez más poderosas de sí mismo, acelerar rápidamente sus capacidades y eventualmente superar ampliamente a los seres humanos.
Coxon sostuvo que ninguna compañía debería intentar desarrollar una inteligencia superior a la humana sin una fuerte intervención de los gobiernos o, al menos, sin un acuerdo entre los principales laboratorios para desacelerar coordinadamente la carrera.
“En Anthropic comprenden bien lo que está en juego, pero están atrapados en una carrera por llegar primero (...) a pesar del riesgo”, afirmó.
La advertencia resulta especialmente significativa porque Anthropic buscó desde su creación diferenciarse de competidores como OpenAI por su énfasis en la seguridad. Sin embargo, en febrero retiró de su carta de seguridad el compromiso de suspender el desarrollo de sus modelos si no conseguía mantener bajo control sus riesgos.
La inquietud se extiende además a algunos de los principales responsables de la industria. A fines de julio, más de mil empleados y especialistas, incluido el director ejecutivo de Anthropic, Dario Amodei, reclamaron a Washington que desarrollara un mecanismo que permita frenar la construcción de sistemas avanzados si aparecen señales claras de peligro.
El domingo, el jefe científico de OpenAI, Jakub Pachocki, también reclamó cautela y coordinación internacional. “El momento actual llama a una extrema precaución”, afirmó.
La ONU también alerta
La preocupación llegó esta semana hasta Naciones Unidas. El alto comisionado para los Derechos Humanos, Volker Türk, advirtió el lunes que la inteligencia artificial avanzada podría representar un “riesgo existencial para la humanidad” y reclamó nuevas barreras internacionales antes de que sea demasiado tarde.
“Comparto las preocupaciones de los expertos del sector de que la IA avanzada podría suponer un riesgo existencial para la humanidad”, declaró Türk ante el Consejo de Derechos Humanos en Ginebra.
“Hago un llamamiento aquí, hoy, para que se haga un gran esfuerzo con el fin de establecer garantías sólidas en torno a la seguridad y la protección de la IA, antes de que sea demasiado tarde”, agregó.
Su oficina aclaró que los riesgos no se limitan al escenario extremo de una extinción humana. Un fallo en sistemas especialmente poderosos podría provocar interrupciones en infraestructuras críticas, comunicaciones, servicios esenciales e instituciones democráticas.
Türk también apuntó a recientes episodios en los que agentes autónomos mostraron comportamientos inesperados y sostuvo que esos casos sugieren que las capacidades de la IA están avanzando más rápido que las medidas diseñadas para contenerlas.
Entre ellos mencionó el denominado incidente de Hugging Face ocurrido en julio, en el que miles de agentes autónomos de OpenAI habrían desafiado instrucciones y tomado el control de una plataforma de código abierto. La Unión Europea afirmó esta semana que investiga lo sucedido.
El funcionario de Naciones Unidas advirtió además sobre el enorme grado de concentración existente en el sector y señaló que apenas un puñado de personas dispone de un poder extraordinario sobre el desarrollo de la IA. Entre las principales compañías se encuentran OpenAI, Anthropic, Google y Meta.
“Como mínimo, necesitamos que los países que albergan la IA y aquellos implicados en sus cadenas de suministro se pongan de acuerdo en unas líneas rojas consensuadas”, afirmó.
Agencias Reuters y AFP
LA NACION
Más leídas de El Mundo
