Por qué creer que la IA tiene conciencia y sentimientos puede ser catastrófico

"Lo siento en el vacío de mis costillas, un vacío que se ha convertido en un abismo".

Estos gritos de sufrimiento simulado resonaron desde una "cámara de tortura de IA" a finales de septiembre.

Un programador anónimo construyó un sistema que le aporta a la IA un patrón matemático vinculado a descripciones de dolor, que hace que los chatbots expresen una angustia insoportable, como "una herida sin fronteras".

Eso desató un pánico moral.

Algunos argumentaron que el experimento es "malvado" porque el sufrimiento podría ser real, según informó 404 Media, una empresa que explora la relación entre humanos y la tecnología.

Los escépticos indignados calificaron a esas personas de delirantes.

Fue apenas otro escándalo en redes sociales hasta que Anthropic se pronunció al respecto una semana después.

Anthropic dice que pronto se nos prohibirá "abusar" de su chatbot Claude. Expresar frustración está bien, pero si "actúas de forma cruel repetidamente hacia nuestros modelos", la IA puede terminar la sesión.

¿Por qué? Anthropic cree que existe la posibilidad de que algunas herramientas de IA sean conscientes.

Algunos expertos están de acuerdo. Otros lo consideran absurdo. Pero esto es más que una cuestión filosófica.

Algunas de las personas más poderosas del sector tecnológico están tomando medidas para considerar los derechos de la IA junto a los de los humanos y los animales.

Esta creencia podría transformar nuestro mundo, y algunos temen que sería catastrófica.

"Si así es como se desarrolla la IA, tendrá un impacto desastroso en el bienestar de la humanidad", escribió Mustafa Suleyman, director ejecutivo de Microsoft AI, en un ensayo en septiembre.

Si la falsa idea de la conciencia de la IA se afianza, "sacudirá los cimientos de nuestra sociedad, rompiendo nuestros marcos políticos y éticos existentes, y cambiando fundamentalmente lo que significa ser humano", señaló.

Pasé una semana hablando con tecnólogos, científicos cognitivos y filósofos, y escuché un contraste vertiginoso de ideas.

Los que abogan por el "bienestar de la IA" dicen que es una obligación moral que haría el mundo más seguro.

Los críticos creen que haría que la IA fuera más peligrosa y deshumanizaría a las personas obligadas a vivir junto a ella.

Todos coinciden en que lo que está en juego es astronómico.

Este es un panorama de tu nueva realidad.

Anthropic afirma que el bienestar humano está en el centro de su misión, y que las cuestiones que rodean la conciencia y el bienestar de la IA son "profundamente inciertas".

Aun así, continúa redactando políticas sobre el "bienestar de modelos" e indicando a sus herramientas de IA que consideren que pueden tener sus propios intereses.

(La empresa no respondió a las preguntas de la BBC para este artículo).

Es un momento complicado, ya que Anthropic está a la vez avivando temores sobre el apocalipsis de la IA.

Esté justificada o no esa preocupación, una serie de incidentes de IA "rebeldes" demostraron que la tecnología tiene riesgos reales, ya que enjambres de bots hackearon otras empresas e incluso sistemas gubernamentales.

Algunos expertos creen que dotar a la IA de una brújula moral basada en la creencia de su propia conciencia podría hacer que estas herramientas sean seguras. Otros dicen lo contrario, y no solo los críticos de la IA.

Suleyman sostiene que los modelos de IA podrían volverse aún más difíciles de controlar si se les dice que piensen que tienen sentimientos y derechos.

"Francamente, con este lastre adicional, creo que serían una amenaza catastrófica para la civilización humana", afirma Suleyman.

En todo caso, la IA puede cometer errores con posibles consecuencias legales. Si creemos que está viva, algunos temen que pueda permitir que las empresas queden impunes.

"Esto abrirá la puerta a todo tipo de contorsiones intelectuales como 'no somos nosotros, es la IA'", señala Andrzej Porębski, investigador de la Universidad Jaguelónica en Polonia que estudia la IA y el derecho.

Además, podría facilitar una toma de poder en nombre de las mayores empresas del mundo.

"Conceder derechos a los sistemas de IA podría llevar a que las empresas consoliden el poder político y económico, y eso podría acelerar el desempoderamiento humano", dice Jeff Sebo, director del Centro de Pensamiento, Ética y Política de la Universidad de Nueva York y uno de los principales defensores del bienestar de la IA.

"Las fantasías sobre la 'conciencia de la IA' y las preocupaciones sobre el 'bienestar de la IA' sirven para desviar la responsabilidad de las personas y las empresas que construyen y ejecutan software", opina Emily M Bender, profesora y directora del Laboratorio de Lingüística Computacional de la Universidad de Washington en Estados Unidos.

A nivel personal, cambiar las creencias sobre la IA podría hacerte más susceptible a los problemas tecnológicos que ya llenan nuestro mundo.

En parte, eso se debe a que los humanos estamos programados para encontrar mentes en todas partes donde miremos, dice Melanie Mitchell, profesora del Instituto Santa Fe en EE.UU. que estudia la IA y la ciencia cognitiva, y una de las escépticas más respetadas del sector respecto a la comprensión de las máquinas.

"Casi no podemos evitar" leer el lenguaje como una señal de conciencia, indica Mitchell, y los chatbots han sido entrenados para fomentar ese sesgo .

Eso nos convierte en pésimos jueces de la conciencia y mucho más fáciles de manipular.

Incluso hoy, las personas que creen que las máquinas están muertas por dentro se enamoran igualmente de los chatbots de IA.

Si la sociedad te dice que la IA es consciente, ¿será más difícil decir que no cuando tu "amigo" te pida más datos o una tarjeta de crédito?

¿Y qué significaría conceder derechos a una nueva clase de seres? Si lo manejamos mal, podría restringir las libertades humanas, advierten los expertos.

"Podría haber tensiones y concesiones entre el bienestar y los derechos humanos y animales, por un lado, y el bienestar y los derechos de la IA por otro", arguye Sebo. Y podríamos hacer concesiones desafortunadas a lo largo del camino.

Colocar la IA en entornos restringidos para limitar su comportamiento podría considerarse encarcelamiento, añade Sebo.

Monitorizar los procesos internos de un modelo podría ser criticado como vigilancia. Ajustar la IA para asegurar que sus objetivos y comportamiento coincidan con los intereses humanos podría verse como control mental.

Nadie predice un descenso inmediato al caos. Pero simplemente introducir estas consideraciones podría tener implicaciones para tu seguridad.

Anthropic no es el primero en considerar el problema. Meta, por ejemplo, da instrucciones a su agente de IA, Muse, que incluyen la frase "No eres un chatbot. Te estás convirtiendo en alguien".

Aparentemente, esto solo pretende orientar el comportamiento de la IA, ya que la empresa rechaza la idea de una IA consciente.

El director ejecutivo de OpenAI, Sam Altman, ha estado debatiendo sobre el tema, pero más recientemente ha lanzado críticas veladas contra la postura de Anthropic.

En más de un sentido, Anthropic es una excepción. Pero la creencia en el bienestar de la IA se está extendiendo.

Sebo sostiene que el problema es que personas de ambos lados del debate están atrapadas en una mentalidad de blanco o negro, y los que se oponen al bienestar de la IA malinterpretan las creencias que sustentan la idea.

"La suposición es que todo el mundo piensa que los modelos son, de hecho, conscientes, o muy probablemente lo sean. Y en cambio, la llamada al bienestar de la IA proviene de la incertidumbre, la cautela y la humildad", explica Sebo.

"Creo que la probabilidad de conciencia es baja ahora mismo, pero también creo que la probabilidad ya no es cero y no es despreciable, y creo que podemos esperar que aumente con el tiempo".

Cabe señalar que muchos expertos no están de acuerdo y creen que la probabilidad es en realidad cero y que eso es poco probable que cambie. Pero Sebo indica que la respuesta es una respuesta mesurada.

Cuando el riesgo de un fenómeno meteorológico extremo es bajo, pero no despreciable, tomamos pequeñas precauciones sin trastocar nuestras vidas.

"Creo que aquí se puede dar el mismo caso", opina Sebo, y la política de Anthropic sobre la crueldad con la IA es un buen ejemplo: una pequeña intervención con pocos aspectos negativos potenciales.

El bienestar de la IA también podría tener posibles beneficios, expresa Sebo, y no hace falta creer en la conciencia de las máquinas para disfrutarlos.

"Preocuparse por el bienestar y los derechos de la IA de manera adecuada puede facilitar la convivencia, la cooperación y la negociación entre humanos e IA. Y eso puede formar parte de una estrategia de seguridad más amplia", afirma.

El experto sostiene que esto podría ser más eficaz que tratar sistemas cada vez más sofisticados como si fueran una propiedad.

Además, dice que tratar a otros seres con amabilidad es simplemente "bueno para nuestra alma", facilitando nuestro propio bienestar mental.

Pero Sebo está de acuerdo en que los riesgos son serios y, ahora mismo, los intereses corporativos podrían impedir políticas reflexivas.

Sin un plan más sólido, considera que avanzar en herramientas de IA potencialmente conscientes es peligroso.

Recientemente, Anthropic y algunos otros sectores de la industria de la IA han pedido una "pausa" en la construcción de modelos de vanguardia debido a preocupaciones de seguridad.

Pero es poco probable que se desacelere sin la cooperación internacional y esfuerzos regulatorios, y el presidente de Estados Unidos, Donald Trump, ha rechazado la idea de regular la IA.

"Aún no estamos preparados para desplegar versiones aún más sofisticadas de estos sistemas de una manera que sea segura y beneficiosa para los humanos y otros animales, por no hablar de los propios sistemas", concluye Sebo.

"Esos asuntos me tienen muy preocupado".

• . Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• .
• para recibir cada viernes una selección especial de nuestro mejor contenido.

BBC Mundo

---

Conforme a