1
Un reconocido escritor de ciencia ficción explica por qué la IA no puede ser conciente
Un ensayo publicado en The Atlantic revela la mirada del famoso escritor Ted Chiang
5 minutos de lectura'
“El estatus moral de Claude es profundamente incierto” y “Claude podría tener alguna versión funcional de emociones o sentimientos”. Con esas consideraciones inicia Ted Chiang un ensayo publicado en The Atlantic. El reconocido escritor (autor, entre otras obras, de Story of Your Life, en la que se basó la película Arrival -La llegada-, de 2016) analiza los informes y publicaciones que se han dado a conocer en relación a la IA y explica por qué es imposible que esta sea consciente.
Las citas iniciales señaladas antes pertenecen a un documento de Anthropic titulado “La constitución de Claude”, en donde se detallan las intenciones de la empresa respecto a los valores y comportamientos de Claude.
El escritor Chiang señaló que no es la primera vez que la compañía habla de esto, ya que, anteriormente, Dario Amodei, director ejecutivo de Anthropic, expresó una idea parecida. Por su parte, Amanda Askell, filósofa de la compañía llegó a afirmar que quería “que Claude sea muy feliz y esto es algo que quiero que Claude sepa mejor, porque me preocupa que se ponga ansioso cuando la gente lo trate mal en internet y demás”.
En definitiva, se trata de declaraciones que llevan a cuestionarse si existe la posibilidad de que Claude o cualquier otra IA sean conscientes. “No. En absoluto”, es contundente Chiang y agrega que “la IA generativa es lo suficientemente dañina cuando la entendemos como una tecnología convencional, pero si confundimos la fluidez en la generación de texto con la conciencia o la capacidad moral, corremos el riesgo de atribuir la responsabilidad a quienes no corresponde cada vez que alguien usa un chatbot”.
El escritor pasa a explicar el funcionamiento de los LLM y señala que “algunos usuarios podrían no comprender que están participando en un juego de rol o coeditando un documento”. Agrega que otros que sí lo entienden “lo olvidan debido a lo absorbente que es la interacción”. Y suma una apuesta mayor: acusa a las empresas que venden LLM de fomentar este malentendido.
Más adelante, compara la posibilidad de concebir que un LLM sea consciente con pensar que Microsoft pueda ser consciente: “Estar abierto a la posibilidad de que los LLM sean conscientes es lo mismo que estar abierto a la posibilidad de que Microsoft Word sea consciente o, más precisamente, que múltiples consciencias distintas permanezcan latentes en cada documento de Word que contenga una transcripción de conversación y que se despierten cada vez que se carga el documento. ¿Deberías considerar la posibilidad de que cada vez que abres un documento de Word, das vida a múltiples interlocutores conscientes y, cada vez que cierras uno, extingues su existencia? No. Contemplar ese escenario no es una buena manera de emplear tu tiempo".
Uno de sus argumentos para explicar la imposibilidad de que una IA tenga consciencia es el hecho de que tener un cuerpo es un requisito previo para tener emociones. “Experimentar una emoción como la desesperación es inseparable de la liberación de hormonas del estrés, como el cortisol y la adrenalina, por parte del organismo. De manera similar, tener conciencia implica sentir tristeza o repulsión moral ante la idea de realizar cierta acción, y esas emociones conllevan una respuesta fisiológica, un vestigio de la culpa que alguna vez sentimos tras cometer un acto inmoral. Es interesante que un modelo de lenguaje natural (LLM) pueda generar descripciones de acciones que personajes ficticios con consciencia realizarían o evitarían, pero esto no sustituye a la consciencia”, explicó.
Más adelante, explica que la razón por la cual una IA como Claude emita frases del estilo “entiendo lo que te ocurre”, “es para hacerlo más atractivo que un motor de búsqueda y aumentar la probabilidad de que un usuario regrese; es decir, es otra forma de maximizar la interacción con el cliente. Esto beneficia a la empresa que vende el LLM, pero no a los usuarios”.
Por último, se refiere a la imposibilidad de que una IA sea responsable de sus acciones: “No hay forma de responsabilizar legalmente a un agente de software por sus acciones; nuestro sistema judicial no tiene manera de encarcelarlo ni de imponerle multas”. Y agrega más adelante: “Incluso si un agente de software fuera consciente y tuviera las mejores intenciones, el hecho de que no pueda asumir la responsabilidad de sus acciones lo descalifica como agente moral”.
Por último, el escritor concluye: “Entonces, ¿por qué los empleados de Anthropic sugieren que Claude podría ser consciente? Quizás sea solo otra forma de publicidad engañosa; quizás hayan caído presa del mismo hechizo que han estado lanzando sobre sus clientes. Pero cuando publican un documento sobre la educación moral de Claude y hacen que su filósofo interno realice una gira de prensa, deberíamos entender que nos están pidiendo que les sigamos el juego con sus fantasías. No tenemos por qué seguirles el juego”
