1
Anthropic alerta sobre la IA que se autoconstruye y apuesta por una “desaceleración” para no perder el control humano
La compañía detrás de Claude pidió “coordinación global” y buscará crear medidas que permitan construir los sistemas necesarios para una pausa o ralentización
4 minutos de lectura'
Anthropic ha alertado sobre los últimos avances de la inteligencia artificial (IA), refiriéndose en concreto a los modelos de “automejora recursiva”, que representan una pérdida de control para los humanos al desarrollarse de forma totalmente autónoma, por lo que aboga por una “desaceleración” global en el impulso de esta tecnología.
La compañía ha explicado que para avanzar en el desarrollo de la IA, las tecnológicas del sector, como es el caso de la propia Anthropic, cada vez están delegando más parte del trabajo a los propios sistemas de IA, lo que ayuda a acelerar el trabajo de los expertos. Por ejemplo, gran parte del código lo escribe el propio Claude, con el ingeniero dirigiendo y revisando.
En este sentido, ha matizado que, si se lleva al extremo y se les “proporciona la capacidad de procesamiento necesario”, esta práctica llevará a los sistemas de IA a diseñar y desarrollar de forma autónoma a “su propio sucesor”, lo que se conoce como una práctica de “automejora recursiva”.
Aunque aún no se ha llegado a ese punto, Anthropic ha valorado que “podría llegar antes de lo que la mayoría de las instituciones están preparadas”, representando un riesgo y la pérdida de control de esta tecnología por parte de los humanos. Frente a ello, ha apostado por llevar a cabo una “desaceleración” global en el desarrollo de la IA.
Tal y como lo ha compartido en un comunicado en su blog, aunque una IA capaz de autoconstruirse representaría “un avance trascendental en la historia de la tecnología”, con gran utilidad en campos como el de la ciencia o la salud, entre otros ámbitos, la automejora recursiva también podría “aumentar el riesgo de que los humanos pierdan el control sobre los sistemas de IA”.
Frente a ello, Anthropic ha subrayado que “sería beneficioso para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA de vanguardia para que las estructuras sociales y la investigación sobre alineación se adapten al avance de la tecnología”.
Asimismo, ha matizado que esta desaceleración debe ir de la mano con un mecanismo de “coordinación global”. Para abordarlo, la compañía ha señalado que desde el Instituto de Anthropic llevarán a cabo investigaciones en colaboración con otros expertos y compañías del sector, de cara a crear medidas que permitan construir los sistemas necesarios para una ralentización o pausa.
De esta forma, crearán pautas que garanticen que los desarrolladores de IA de vanguardia puedan verificar que otras compañías del sector también han detenido o ralentizado su desarrollo en igualdad de condiciones. Concretamente, para asegurarse de que “ningún actor malintencionado podría aprovecharse de una ralentización coordinada para avanzar en secreto”, al tiempo que no frenar la innovación.
Siguiendo esta línea, la tecnológica también ha señalado que se requerirá de múltiples laboratorios bien equipados, que acordarán detenerse “bajo las mimas condiciones”, así como verificar que los demás se han detenido efectivamente.
Para ejemplificar que estos acuerdos globales de pausa para un bien común son posibles, la compañía se ha referido al Tratado sobre Fuerzas Nucleares de Alcance Intermedio, aunque ha admitido que en este caso se tardó “décadas” en construir “tanto la infraestructura como la confianza”, tiempo que no está disponible para la IA, debido a sus rápidos avances.
Con todo ello, Anthropic ha señalado que llevarán a cabo su investigación, además de organizar conversaciones con responsables políticos, investigadores, la sociedad civil y otras empresas para que puedan “contribuir a responder” a estas cuestiones en relación a la automejora recursiva. Así, publicarán los resultados próximamente para investigar dichas cuestiones en conjunto.
