"Los empleados estamos aterrados": la advertencia de un exinvestigador de Anthropic a la BBC sobre los riesgos de la IA (y por qué genera críticas)

Un investigador de inteligencia artificial (IA) que abandonó la empresa Anthropic ha declarado que las personas que trabajan en esta tecnología sentían un "miedo genuino" ante la velocidad de sus avances y lo que esto podría suponer para la humanidad.

"Creo que, si no frenamos el ritmo actual de progreso, existe una gran probabilidad de que todos muramos en un futuro inmediato", afirmó.

Jacob Coxon hizo estas declaraciones a la BBC después de que su publicación sobre los peligros de la IA —difundida tras su renuncia— se hiciera viral en un contexto de creciente preocupación por la seguridad en el sector.

El antiguo jefe de Coxon, Dario Amodei (director de Anthropic), pidió recientemente que se ralentizara el desarrollo de la IA, aunque algunos han cuestionado las motivaciones que hay detrás de esta petición.

Los líderes de dos empresas rivales de IA, Sam Altman (de OpenAI) y Elon Musk (de xAI), han expresado su acuerdo con la propuesta de Amodei de ralentizar el ritmo y establecer regulaciones en todo el sector, así como de implementar una supervisión independiente del desarrollo de modelos de IA.

En un artículo publicado el sábado, Amodei señaló que el desarrollo de esta tecnología no estaba en entredicho, pero que los riesgos asociados a ella eran "graves" y que era necesario conceder tiempo a empresas y gobiernos para abordarlos.

Coxon —quien trabajó en OpenAI antes de incorporarse a Anthropic— acogió con satisfacción la propuesta de ralentizar el ritmo, pero advirtió que sería necesario coordinarla con China para evitar "una carrera a escala internacional".

"Las personas que trabajan en estas empresas hablan muy en serio cuando piden regulación, ya que se sienten atrapadas en una carrera. Y temen las consecuencias de esa misma carrera", declaró en el programa "Sunday" con Laura Kuenssberg.

Según Coxon, la pregunta más difícil de responder era cómo sería un apocalipsis provocado por la IA.

Uno de los riesgos señalados en los comentarios de Amodei era la posibilidad de que un enjambre de bots actuara como una supercomputadora capaz de tomar el control de Internet.

Coxon afirmó que este escenario podría materializarse en un plazo de seis meses a un año.

En respuesta a la salida de Coxon, un portavoz de Anthropic declaró a BBC News: "Siempre hemos sido transparentes al afirmar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes.

"Para abordar estos riesgos, seguimos desarrollando modelos que cuentan con algunas de las medidas de seguridad más sólidas del sector".

La empresa ha sido pionera en el estudio del funcionamiento de los modelos de IA, añadió el portavoz. Fue la primera en publicar un marco para mitigar los riesgos derivados de su desarrollo; además, somete sus modelos a pruebas rigurosas y publica los resultados para facilitar el escrutinio y prevenir incidentes de "desalineación de la IA".

"Esta labor es también la razón por la que creemos que el mundo se beneficiaría si el sector adoptara una forma legal y verificable de colaborar para regular el ritmo de lanzamiento de modelos potentes", señalaron.

Coxon comentó que sus colegas temían que el peligro pudiera manifestarse incluso en los próximos dos años.

Relató que el personal de las empresas de IA estaba "planificando qué hacer con sus vidas y reflexionando sobre el impacto de su trabajo", mientras que algunos "consideraban comprar terrenos en algún lugar debido al miedo que les provoca la inestabilidad derivada del rápido avance de la IA".

"Todos tienen esto presente a diario mientras trabajan en la tecnología".

No obstante, Coxon también mostró cierto optimismo respecto al futuro de la IA, declarando a la BBC que los investigadores de esta tecnología "realmente quieren ver el lado positivo", como la posibilidad de "curar enfermedades y mejorar la vida de todos".

Muchos otros miembros del sector también han expresado su preocupación a raíz de la publicación de Coxon en redes sociales, incluido el científico de Anthropic Evan Hubinger.

"Realmente creemos con total sinceridad que la IA podría acabar con todos los seres humanos. Personalmente, creo que existe una probabilidad superior al 10% de que esto ocurra en la próxima década", afirmó Hubinger.

El informático y premio Nobel Geoffrey Hinton, conocido como el "padrino de la IA", declaró el viernes a la BBC que considerar una probabilidad del 10% de que la IA aniquile a la humanidad "no era descabellado".

Por su parte, Marc Warner, director ejecutivo de Faculty —una empresa especializada en seguridad de la IA—, dijo al programa "The World This Weekend" de la BBC que resulta "extremadamente difícil asignar una probabilidad" a la posibilidad de que la IA acabe con todos los seres humanos.

"No obstante, es importante reconocer que estas personas son muy sinceras en lo que dicen", añadió, señalando que los responsables de varias empresas de IA llevan años advirtiendo sobre los riesgos que conlleva esta tecnología.

El ex primer ministro de Reino Unido Rishi Sunak, quien ejerce como asesor remunerado de Anthropic, escribió en el Sunday Times que él también se sentía preocupado por el riesgo que la IA supone para la humanidad, a pesar de mostrarse generalmente optimista.

Sin embargo, algunas figuras del sector han sugerido que tales comentarios son exagerados o que podrían tener como objetivo generar expectación.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, comentó en redes sociales: "Lo siento, pero preguntar a Jacob [Coxon] sobre el riesgo de extinción por la IA es como preguntar al técnico del aire acondicionado sobre el cambio climático. No digo que el tema carezca de interés o sea erróneo en sí mismo, pero mantengamos las cosas en perspectiva".

No obstante, tras la publicación del ensayo de Amodei, Delangue se ofreció a colaborar en las posibles soluciones propuestas por el máximo responsable de Anthropic.

George Arison, director ejecutivo de Grindr, expresó opiniones similares al hablar con la BBC, sugiriendo que las declaraciones de Anthropic y otras empresas buscaban captar el apoyo de los inversores.

"Porque la única forma de justificar estas valoraciones es afirmar: 'Voy a dominar todos los sectores y todos los empleos, y mi IA se encargará de todo ese trabajo'", señaló.

Jensen Huang, director ejecutivo del fabricante de chips para IA Nvidia, también se refirió a los comentarios de Coxon durante una conferencia organizada la semana pasada por el banco de inversión Goldman Sachs, según relataron a la BBC varias personas presentes. Indicaron que Huang desestimó dichas afirmaciones por considerarlas falsas.

Por otro lado, el presidente de Estados Unidos, Donald Trump, declaró el domingo a la prensa que su país lleva ventaja sobre China en materia de IA. Y añadió: "Francamente, quiero que siga siendo así. Porque quien gana en IA, gana en todo".

Otros críticos sostienen que Anthropic ha intentado impulsar medidas regulatorias para frenar a la competencia, lo que dejaría a la empresa y a OpenAI en una situación de duopolio.

Según informes, Anthropic se prepara para una oferta pública inicial (OPI) que podría batir récords, permitiendo así que el público adquiera acciones de la compañía.

Se esperaba que OpenAI —cuya valoración más reciente alcanzó los 852.000 millones de dólares— siguiera el mismo camino; sin embargo, su director ejecutivo, Sam Altman, anunció el viernes que esto no ocurrirá este año, citando preocupaciones sobre la seguridad de la IA.

• . Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• .
• para recibir cada viernes una selección especial de nuestro mejor contenido.

BBC Mundo

---

---

Conforme a