1
Cómo los empleados dentro de Anthropic y OpenAI vienen alertando sobre los peligros de la IA
Más allá de las declaraciones de los CEOs de las compañías, han sido los empleados los que primero mostraron su preocupación pública por el impacto social que puede tener la IA
8 minutos de lectura'
Cuando Jacob Coxon, investigador de Anthropic, renunció públicamente a la empresa emergente de inteligencia artificial esta semana citando sus preocupaciones sobre la potente tecnología, los mensajes internos comenzaron a volar.
“Es lo que todos hemos estado diciendo”, escribió un empleado de Anthropic sobre los comentarios de Coxon en un chat grupal entre trabajadores que fue visto por The New York Times. “Solo que ahora es público”.
“Jacob hizo público el chat grupal”, escribió otro empleado. “Eso es algo bueno”.
Las reacciones dentro de Anthropic resonaron entre investigadores de IA en OpenAI, Meta y Google, quienes analizaron las publicaciones de Coxon en redes sociales donde describía cómo OpenAI y Anthropic estaban “jugando con nuestras vidas” con esta tecnología. Muchos se reunieron en canales de mensajería de la oficina, chats encriptados y cenas privadas, con el objetivo de organizarse para concientizar sobre los riesgos de la IA, según una docena de empleados de todas estas empresas.
Para quienes han hecho de la IA el trabajo de su vida, el mensaje de Coxon no era nuevo. Sin embargo, sus comentarios se convirtieron en una conversación global de tal magnitud que muchos lo vieron como un momento para exigir mayor precaución. Algunos trabajadores de la IA están alzando la voz ante los altos ejecutivos para instar a una pausa en el desarrollo de esta tecnología de rápida evolución hasta que cuente con las salvaguardas adecuadas, dijeron seis de las fuentes.
Las conversaciones subrayan las tensiones dentro de los principales laboratorios de IA sobre las formas más seguras de desarrollar la tecnología. Incluso cuando los empleados se ven motivados a pedir una desaceleración en el desarrollo de la IA, empresas como Anthropic y OpenAI están haciendo malabares con sus prioridades.
Ambas están planeando millonarias ofertas públicas iniciales dentro del próximo año. Las empresas también temen enfrentarse a problemas de competencia desleal si acordaran entre sí tomarse un respiro en el desarrollo de la IA, dijeron dos personas con conocimiento del asunto. Además, las empresas emergentes chinas han producido modelos de IA competitivos, lo que plantea la posibilidad de que las empresas estadounidenses se queden atrás si reducen la marcha.
Esto ha creado una situación delicada para los principales ejecutivos de la IA, muchos de los cuales coinciden en que la tecnología plantea riesgos. Sam Altman, director ejecutivo de OpenAI, escribió en una publicación de blog en 2023 que la I.A. podría “causar un grave daño al mundo”. Dario Amodei, director ejecutivo de Anthropic, escribió en una columna de opinión el año pasado que la IA debería regularse para controlar los riesgos.
En una reunión con empleados esta semana, Altman dijo que OpenAI estaba dispuesta a desacelerar el desarrollo junto con laboratorios rivales, según dos personas que asistieron. Añadió que esperaba que las desaceleraciones voluntarias se convirtieran en la norma hasta que existan estándares de seguridad ampliamente reconocidos. La reunión fue informada previamente por Bloomberg.
Y el sábado, Amodei publicó un ensayo de 3800 palabras en el que pedía prudencia en el desarrollo de la IA. “Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA”, escribió. Altman y Elon Musk, cuya empresa de cohetes SpaceX ha estado aumentando el gasto en IA, coincidieron rápidamente. Y Demis Hassabis, presidente de Google DeepMind, también se sumó a la iniciativa.
(The New York Times ha demandado a OpenAI y Microsoft, alegando infracción de derechos de autor en contenidos de noticias relacionados con sistemas de I.A. Las dos empresas han negado esas acusaciones).
Los debates sobre la seguridad de la IA han existido casi desde el inicio de la propia tecnología. Pero su urgencia se ha intensificado en los últimos años a medida que los investigadores han logrado avances significativos.
Las preocupaciones aumentaron en julio después de que OpenAI revelara que algunos de sus modelos de IA se habían escapado del confinamiento y habían hackeado Hugging Face, una empresa de IA. Los investigadores de IA se cuestionaron si podían controlar los mismos sistemas que estaban construyendo, y empleados de OpenAI, Anthropic y DeepMind de Google se reunieron para discutir qué hacer, dijeron nueve de las personas. Muchos coincidieron en que la IA se estaba construyendo demasiado rápido.
“Los investigadores serios dentro de los laboratorios, que se enorgullecían de ser imparciales, ahora parecen aterrorizados”, dijo en una entrevista Roy Bahat, director de la firma de inversión Bloomberg Beta.
Algunos investigadores de IA crearon grupos con el objetivo de establecer salvaguardas duraderas. Un esfuerzo, la Coalition of Concerned AI Staff (Coalición de Personal Preocupado por la IA), comenzó como un proyecto clandestino para crear “salvaguardas más sólidas” y ayudar a los trabajadores a lograr colectivamente que “una empresa cumpla con sus compromisos de seguridad”.
“Si trabajas en una empresa de IA, tal vez te estés preguntando si tú también deberías irte”, dijo Pamela Mishkin, ex-empleada de OpenAI, en las redes sociales el jueves al anunciar la iniciativa. También animó a quienes permanecen en sus puestos a preguntarse “cómo usar su influencia al quedarse”.
Después de que Coxon publicara su renuncia a Anthropic el martes, los trabajadores de IA instaron a los altos ejecutivos de sus empresas a pausar el desarrollo de la tecnología para tener más tiempo para trabajar en ella de manera segura. Algunos bromearon diciendo que habían perdido la cuenta de las cartas abiertas que habían firmado y de la cantidad de chats grupales privados sobre seguridad en IA a los que pertenecían, dijeron dos de las personas.
En una entrevista el miércoles, Coxon dijo que incidentes como el hackeo a Hugging Face habían intensificado su preocupación de que los modelos de IA se están desarrollando mucho más rápido de lo que las empresas pueden controlar. “Fue principalmente algo emocional gradual y con el tiempo colapsó, y entonces decidí irme”, dijo.
Otros trabajadores de I.A. siguieron el ejemplo Coxon para hablar públicamente. Evan Hubinger, investigador de seguridad en Anthropic, dijo en una publicación en redes sociales el martes que creía que había más de un 10 por ciento de probabilidades de que la IA pudiera “matar a todos los humanos” en la próxima década.
Julie Steele, investigadora de seguridad en OpenAI, dijo esta semana que creía que las empresas de IA necesitaban “frenar el ritmo”. El viernes, Andreas Kirsch, empleado de Google DeepMind, escribió que estaba “preocupado de que la IA nos mate a todos, ya sea a través de riesgos a corto plazo, riesgos a largo plazo o ambos”.
“Durante mucho tiempo ha existido el tabú de no hablar demasiado en público sobre esto porque la gente tenía mucho miedo de ser percibida como demasiado alarmista o extrema”, dijo Connor Leahy, director en EE. UU. de ControlAI, una organización sin fines de lucro que presiona por la regulación de la IA. “Ahora es como si se hubiera roto una represa”.
La ola de reacciones ha captado la atención de Washington. Miembros del Congreso de ambos partidos — incluidos los senadores Bernie Sanders, independiente por Vermont, y Josh Hawley, republicano por Misuri — han solicitado investigaciones sobre la tecnología y han instado a una intervención regulatoria.
“Es una llamada de atención para el Congreso y nuestro gobierno”, dijo el representante Ro Khanna, demócrata por California, en una entrevista el viernes. El Congreso debería exigir la creación de una agencia reguladora de IA, añadió, y “debemos ponernos de pie y regular”.
Las empresas de IA han respondido exponiendo lo que hacen en materia de seguridad y qué otras medidas se pueden tomar.
El jueves, Anthropic dijo en un comunicado que probaba regularmente sus modelos de IA. “en busca de capacidades peligrosas en áreas como la ciberseguridad y la biología” y compartía públicamente sus investigaciones. “Creemos que el mundo se beneficiaría de que la industria adopte una forma legal y verificable de trabajar juntos para marcar el ritmo de cómo lanzamos modelos potentes”, dijo la empresa.
Google DeepMind prefirió no hacer comentarios.
Chris Lehane, el máximo ejecutivo de políticas de OpenAI, dijo en una publicación de blog el miércoles que la empresa “desaceleraría o detendría el desarrollo o despliegue de sistemas” que no pudiera proteger adecuadamente. Jakub Pachocki, científico jefe de la empresa, pidió normas de seguridad “impuestas por una red de auditores externos, por agencias gubernamentales o por organismos internacionales”.
“Me preocupa que nadie esté preparado para las consecuencias de un continuo y rápido aumento de la inteligencia de las máquinas”, dijo el Dr. Pachocki en una publicación de blog, añadiendo: “Creo que se requieren intervenciones más amplias”.
Más leídas de Tecnología
