1
Era investigador de Anthropic y renunció, preocupado por la IA: “Puede matarnos antes de 2030”
El jefe de Jacob Coxon, joven investigador de la compañía, le apoya y dice que la probabilidad de extinción en los próximos años supera el 10%
3 minutos de lectura'
Un joven investigador de Anthropic, Jacob Coxon, ha anunciado esta madrugada su dimisión. El científico cree que la carrera para mejorar estos sistemas conlleva peligros que sus propios creadores admiten en privado: “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”, ha escrito Coxon en X.
Su denuncia principal no es solo el peligro, sino que estas decisiones están en muy pocas manos y recaen sobre gente que solo piensa en ser los primeros. Coxon dice que a menudo le preguntan que si de verdad creen esto, ¿por qué siguen adelante? Ve cierta diferencia entre ambas compañías: “En OpenAI, muchos no han interiorizado a fondo lo que está en juego a escala de civilización. En Anthropic sí se entiende bien lo que está en juego, pero están atrapados en una carrera por llegar antes”, añade Coxon, pero nada se detiene.
Desde fuera, estos exabruptos se toman a veces como una exageración para llamar la atención y lograr más atención e inversión. Coxon dice que la realidad es más seria: “No es marketing. Más bien al contrario: muchos directivos miden sus palabras ante la prensa para sonar sensatos, pero he oído a esas mismas personas expresar miedo en privado. Ninguna otra actividad humana entraña este nivel de peligro”, escribe.
El mensaje de Coxon en X es extremadamente viral. En apenas unas horas lleva cerca de 50 millones de visualizaciones. El interés se debe en parte al increíble goteo de noticias provocadas por avances y novedades de la IA en las últimas semanas: hackeos de sistemas autónomos descontrolados, nuevos modelos que alcanzan cotas no imaginadas o descubrimientos científicos que parecían imposibles hace apenas unos meses.
Coxon era un simple investigador de Anthropic. Pero su exjefe en la empresa, Evan Hubinger, ha salido a decir que Coxon tiene razón. Hubinger es el responsable de investigación en alineación, que es la disciplina que se dedica a lograr que los modelos hagan solo lo que los modelos les piden: “¡De verdad creemos que la IA puede matar a todo el mundo! Yo personalmente creo que la probabilidad es superior al 10% en la próxima década”, escribe en X. Aunque luego añade: “Creo que el riesgo de los modelos actuales es bajo. Lo que me preocupa es la superinteligencia surgida de la automejora recursiva, que está ocurriendo más rápido de lo que pensábamos”.
Ese temor de fondo se refiere a que aparentemente estamos cerca de la era de la automejora de estos modelos, donde los modelos existentes entrenen a los siguientes, como si fuera un árbol genealógico exprés donde los hijos son sistemáticamente mejores que sus padres sin apenas intervención exterior.
La mayoría de científicos tiene su porcentaje de algo llamado p doom o posibilidad de caos, la probabilidad de que la IA cause una catástrofe sin precedentes para la humanidad. El 10% del que habla Hubinger es alto. Anthropic tiene bastantes precedentes de advertir sobre este peligro de extinción. Lo ha hecho incluso su presidente ejecutivo, Dario Amodei: “En 2026 estamos bastante más cerca del peligro real de lo que lo estábamos en 2023”, escribió hace unos meses.
EL PAIS@Ediciones El Pais, S.L.U.
Más leídas de Tecnología
2Una droga creada por una IA para curar una enfermedad pulmonar podría servir para frenar el envejecimiento
3The Legend of Zelda cumple 40 años y Nintendo lo celebra con Ocarina of Time
4Más allá de las pruebas PISA: qué dicen los expertos sobre la obligatoriedad de enseñar inteligencia artificial en escuelas porteñas