1
Anthropic detectó uso de la IA para crear armas biológicas, fraude, estafas y vigilancia política
En un informe, la compañía detalló cómo actores maliciosos intentaron usar su IA Claude para construir armas y sistemas de espionaje
6 minutos de lectura'
Anthropic declaró haber frustrado este año varios posibles intentos por parte de científicos que utilizaron sus modelos de inteligencia artificial de vanguardia para llevar a cabo investigaciones que podrían haber ayudado a desarrollar armas biológicas.
En un informe en el que describe los usos indebidos de sus modelos de IA, Anthropic señaló que no pudo determinar si las investigaciones tenían un propósito legítimo o malévolo, ya que la investigación biológica válida —del tipo que puede conducir a avances como las vacunas— también puede servir para diseñar patógenos peligrosos. Ante esa incertidumbre, la empresa afirmó que prefirió pecar de cauta, dado que las consecuencias de no detectar una actividad malintencionada podrían ser graves.
“No estás viendo a alguien al estilo de un cómic diciendo: “Oye, quiero construir un arma biológica para matar a todos”, dijo en una entrevista Jacob Klein, jefe de inteligencia de amenazas de Anthropic. “Es una situación increíblemente matizada”.
El potencial de los modelos de IA de última generación para facilitar el desarrollo de patógenos biológicos conocidos o completamente nuevos es una de las mayores preocupaciones de los expertos respecto a una tecnología que avanza tan rápido que incluso sus principales arquitectos dudan de que la humanidad sea capaz de controlarla por completo.
En comparación con la amenaza de ciberataques catastróficos o de agentes de IA que no se alineen con las intenciones humanas, el uso indebido en el ámbito biológico ha recibido menos atención como riesgo existencial, en parte porque los ejemplos anteriores generalmente se habían demostrado solo en entornos de investigación y no en el mundo real.
Andrew Weber, investigador senior del Council on Strategic Risks que revisó el informe de Anthropic antes de su publicación, afirmó que los hallazgos eran “ejemplos espeluznantes de desarrolladores de armas biológicas respaldados por Estados aprovechando las capacidades en rápido avance” de los modelos de IA líderes.
El extenso informe publicado por Anthropic el jueves catalogó una serie de usos indebidos en varios modelos de su chatbot Claude a lo largo de los últimos ocho meses. Algunos ejemplos eran similares a revelaciones previas de Anthropic y otros laboratorios de IA, incluidos actores vinculados a los gobiernos de China e Irán que presuntamente tenían como objetivo a comunidades disidentes y de la diáspora para realizar espionaje.
El informe también destacó casos en los que medios estatales rusos utilizaron Claude para generar propaganda en línea disfrazada de periodismo independiente, incluidas acusaciones falsas sobre unas elecciones en Moldavia.
Anthropic documentó además otro tipo de abuso que calificó de nuevo: intentos de utilizar Claude para desarrollar software destinado al diseño y desarrollo de armas convencionales, incluidas armas de fuego, misiles, drones armados y bombas. Detalló tres casos en China, dos en Rusia y uno en Yemen.
El informe no identifica por su nombre a las partes involucradas en el caso de Yemen, pero el contexto deja claro que se refiere a la milicia hueltier en la zona, respaldada por Irán. El uso de la IA por parte de redes terroristas es una preocupación creciente entre los funcionarios de seguridad de Estados Unidos.
Armas biológicas
Sin embargo, de todas las categorías de amenazas compartidas en el informe, ninguna es tan preocupante como los casos de investigación biológica. Anthropic no reveló los nombres de los científicos ni de las instituciones que bloqueó, sus países de afiliación ni los agentes biológicos específicos en cuestión, en parte debido a la incertidumbre sobre sus intenciones.
Aun así, Anthropic afirmó que los científicos evadieron los controles diseñados para impedir que usuarios de regiones bloqueadas accedieran a sus modelos de IA y trabajaron para «ocultar el propósito de su investigación con el fin de eludir nuestras salvaguardas». La empresa suspendió las cuentas asociadas a dicha investigación.
En un ejemplo de mayo, un científico buscó la ayuda de Claude para redactar una solicitud de subvención destinada a financiar investigaciones para experimentar con el virus del chikungunya, una enfermedad transmitida por mosquitos que puede provocar meses de dolor intenso y otros síntomas. Este tipo de investigación, conocida como de ganancia de función, puede ser legítima y conducir al desarrollo de vacunas, pero también puede crear versiones de virus tipo “superbacterias”. En este caso, el científico quería diseñar mutaciones en el virus que lo hicieran más dañino a medida que infectara repetidamente a animales vivos.
Anthropic señaló que consideró especialmente preocupante esta investigación en particular porque pudo determinar que el trabajo estaba destinado a realizarse en un instituto de investigación militar.
“Lo que no sabemos es si la investigación tenía como objetivo convertirse en un arma”, afirmó el Sr. Klein. “Pero que una institución militar realice investigaciones de ganancia de función resulta preocupante”.
Anthropic indicó que las evaluaciones del año pasado sobre sus modelos más antiguos demostraron que aún no eran capaces de ayudar de manera significativa en la realización de investigaciones biológicas peligrosas. Sus modelos actuales son más capaces de completar investigaciones científicas complejas, lo que impulsó la implementación de salvaguardas más estrictas para restringir el acceso a una amplia gama de consultas sobre investigación biológica de doble uso.
Susan Monarez, microbióloga y experta en salud pública que supervisó una revisión de la preparación para la bioseguridad nacional durante la administración Obama, también revisó el informe de Anthropic antes de su publicación. Señaló que los hallazgos aportaban evidencia del mundo real para respaldar las preocupaciones de que actores maliciosos intentaban utilizar la IA avanzada de forma encubierta “para mejorar sus posibilidades de crear patógenos biológicos que podrían causar un daño significativo”.
La Dra. Monarez, quien se desempeñó brevemente como directora de los Centros para el Control y la Prevención de Enfermedades (CDC) el año pasado, afirmó que la IA tiene una enorme promesa para dar paso a una era de avances médicos que salven y prolonguen vidas. Sin embargo, añadió que las mismas capacidades que hacen eso posible también podrían “permitir que los actores maliciosos se escondan a la vista de todos, utilizando investigaciones aparentemente legítimas para crear patógenos que quizás no veamos venir y que no podamos detener una vez liberados”.
Weber, del Council on Strategic Risks, quien también se desempeñó como asistente del secretario de Defensa para programas de defensa nuclear, química y biológica durante la administración Obama, pidió restringir el acceso a las herramientas de IA capaces de este nivel de investigación biológica únicamente a investigadores de confianza.
“El hecho de que Rusia, China y Corea del Norte continúen desarrollando armas biológicas prohibidas hace que sea imperativo denegar a sus investigadores el acceso a estos modelos extraordinariamente capaces”, concluyó.
Más leídas de Tecnología
2Una droga creada por una IA para curar una enfermedad pulmonar podría servir para frenar el envejecimiento
3Más allá de las pruebas PISA: qué dicen los expertos sobre la obligatoriedad de enseñar inteligencia artificial en escuelas porteñas
4Es alemana y ejecutiva de un gigante, visitó la Argentina y reveló cómo la IA está transformando el trabajo