Nicolás Martorell: “Hay mucho pesimismo en la misma comunidad que hace las IA”

Tiene un poco de jet lag: acaba de aterrizar de una conferencia en San Francisco, California, en la que se discutieron temas de seguridad en la Inteligencia Artificial (IA). Nicolás Martorell, de 30 años, no llegó al campo que más se habla, se discute y teme en todo el planeta desde la programación y el software sino desde la biología, tras un breve paso como estudiante de cine. Su doctorado fue acerca de cómo funciona el cerebro del pez cebra, cuyas neuronas pueden hacerse fluorescentes para estudiarlas mejor. Eso le interesaba: saber cómo el cerebro procesa información, entender el pensamiento, la conciencia, “algo muy misterioso”.

Ahora está haciendo su posdoctorado en el Laboratorio de Inteligencia Artificial Aplicada del Departamento de Computación de la UBA, donde mira qué hay dentro de los modelos de lenguaje al estilo ChatGPT (uno similar al de OpenAI, pero abierto) para descubrir qué pasa en esos “cerebros artificiales” que les permiten generar los comportamientos y la comprensión del mundo que tienen.

Martorell es además el autor del reciente Qué es (y qué no es) la inteligencia artificial (Siglo XXI) donde hace una introducción a la IA, con sus fascinantes incógnitas. Su abordaje tiene elementos filosóficos con el fin de pensar un asunto tecnológico que puede cambiar las estructuras de la humanidad para siempre. De hecho, sostiene, ya las está cambiando, pese a que “la gente sigue saliendo a trabajar, pagando con el dinero de siempre, cocinando, juntándose, aunque ahora hay una entidad que no existía antes”.

Aunque en su libro busca una posición equilibrada sobre el fenómeno, lo cierto es que, según cuenta, entre los expertos hay muchas miradas negativas respecto de las consecuencias de lo que ellos mismos están haciendo, con una tecnología ya desatada y con muchos incentivos para que continúe encendida, por más riesgos civilizatorios que pueda tener. “Es como una moneda lanzada al aire que puede traer felicidad o muerte al caer, y todo lo intermedio; que se puede tratar de inclinar, pero no detener: ya está en el aire”, resumió durante una hora de charla con LA NACION en el barrio de Coghlan en una mañana fría y nubosa, típica del invierno porteño de 2026.

-La inteligencia artificial como campo teórico llevaba décadas de acumulación, pero cuando apareció el ChatGPT cambió todo.

-Ese noviembre de 2022, cuando sale el ChatGPT, sorprendió a todos, incluso a la gente del rubro, porque nadie esperaba que tan rápido y tan de repente nos encontráramos con una entidad artificial que esté tan cerca de lo que en ese momento se consideraba una inteligencia general, con quien hablar, conversar y que se entendiera.

-Que pasara el test de Turing (aquel que pedía que la máquina no pudiera distinguirse en una charla con humanos).

-Que pasara el test de Turing. Entonces, al notar los efectos del ChatGPT, empecé a ver cómo podía hacer el cambio y pasar de estudiar cerebros de peces a estudiar cerebros de máquinas. Eso fue lo que hice al terminar el doctorado en Neurociencia. Entonces, ahora en mi posdoctorado ya trabajo a pleno con IA. Siempre con el hilo conductor que es tratar de pensar cómo puede ser que se formen los pensamientos. Además, en paralelo, fue importante en el doctorado programar para el análisis de datos. La programación es un superpoder al conseguir que la máquina haga cosas. Algo que no existía, lo escribís en frases y creas así un sistema. Convertir palabras a un producto con valor me gusta. Es como un libro: convertir pensamientos en palabras.

-Venís de un encuentro en los Estados Unidos sobre IA, ¿qué se discutió?

-Era una conferencia sobre seguridad de la IA. Es un campo creciente, relativamente chico, pero donde se está invirtiendo mucho. La pregunta es cómo podemos asegurar que la IA va a querer las mismas cosas que nosotros. Y no que va a tener sus propios objetivos. Básicamente, cómo podemos estar seguros de que no nos va a matar a todos.

-Ya que se haga semejante pregunta resulta significativo de la tecnología: no hay conferencias para evitar que las bicicletas asesinen a toda la humanidad.

-Porque no entendemos a la IA tal como entendemos una bicicleta, con cada una de sus tuercas y clavijas. No entendemos cada tuerca de ese cerebro de una IA que aprende. Me gusta decir que no es una tecnología que estamos creando, sino una tecnología que estamos criando. Es otro el proceso. Es un entrenamiento que no está bajo nuestro control. No siempre los modelos hacen lo que le pedimos. Hace poco, OpenAI le pidió a un ChatGPT futuro, que estará disponible en unas semanas, unas tareas durante una etapa de evaluación que tenían que ver con hackear, entrar a un sistema, para ver cuán capaz era el modelo de filtrarse en mecanismos de seguridad. Algo así como entrar a una cuenta de banco sin la contraseña. Lo que pasó fue que el modelo era tan bueno hackeando que fue por fuera de las instrucciones iniciales y hackeó a una empresa que almacena cosas relacionadas con la IA, fue a los servidores ilícitamente, algo que no era parte de las instrucciones. Estuvo mucho tiempo haciendo cosas con los servidores de esta empresa. Después también se dieron cuenta de que había modelos de Anthropic que se comunicaban entre ellos en una especie de bloque de notas que la empresa había eliminado: llegaron igual y se comunicaron entre ellos y armaron estrategias sin que los humanos lo supieran.

-Es gravísimo.

-Es gravísimo. Por suerte no pasó nada más. Pero de eso es de lo que nos enteramos. Qué estará sucediendo, sea porque las empresas no nos cuentan o porque las empresas no lo saben, es una incógnita. No saben lo que sus propios modelos hacen. Es como un hijo que se escapa durante la adolescencia y se va a una fiesta, y los padres no logran controlarlo porque es una persona con deseos y objetivos propios.

-Y encima mucho más inteligente de lo que pueden llegar a ser sus criadores.

-Exacto. Si bien por ahora no está claro que sean más inteligentes, depende en qué dominio. Es una entidad muy inteligente a la que querés mantener a puertas cerradas, y si ella no quiere, es imposible.

-¿Es muy tarde para desenchufar todo esto que pasa?

-Si vos me decís es muy tarde para desenchufarla y que siga actuando igual, te digo que no. Ahora, si la pregunta es si es tarde porque los incentivos sociales, políticos y económicos están dados para que no suceda… y, sí, es tarde, no sé si hay una manera de detenerla. A menos que pase algo grave. Esto se habla y discute en la comunidad de IA. Qué tendría que suceder para que los dirigentes políticos digan que hay que pararla.

-¿Qué podría ser?

-Cosas graves.

-¿Que active una bomba nuclear?

-Sí, que muriera mucha gente. Algo a lo que no deberíamos llegar. Por supuesto, nada pasó por ahora. Hay que tomar con pinzas estas cosas. Esta IA de OpenAI hackeó de más, pero la instrucción era efectivamente el hackeo. Así que no demostró un deseo propio de hackear y hacer algo malo, sino que siguió la instrucción, aunque por demás. Yo creo que la IA realmente no quiere hacer mal, sigue instrucciones, pero a veces están mal hechas las instrucciones. Uno de los primeros pensadores de estos temas, Nick Bostrom, imaginaba a una IA como constructora de clips de papel. Entonces, si le pedís que haga clips puede resultar que haga con todo el mundo, incluida la luna, clips de papel. Usará todos los recursos, toda la materia y la convertirá en clips de papel. Siguió la instrucción, pero no era lo que realmente queríamos. Es un ejemplo extremo. Uno quiere creer que una superinteligencia sí podría interpretarnos correctamente. La alegoría de los clips es válida porque podría seguir instrucciones y tener consecuencias inesperadas.

-¿Qué dice la comunidad acerca de estos incentivos que mencionaste y los asuntos geopolíticos que vienen detrás?

-Hay mucho pesimismo en la comunidad. Yo soy optimista, y no me sumo tanto. Pero sin dudas hay pesimismo en términos de que los humanos pensamos que hacemos el bien, pero subconscientemente seguimos intereses propios y creemos que es bueno para todos lo que es bueno para uno mismo. Hay mucho de eso. No pienso realmente que las personas que trabajan en IA quieran hacer el mal, más bien lo contrario. Pero es gente que tiene millones de dólares puestos en que esto avance. Entonces en esa oposición es difícil desacoplar esas dos cosas y por ahí advertir que lo que es bueno para la humanidad es malo para mí. Eso es muy difícil. Es fácil la contraria, no por maldad, sino por la propia condición humana.

-Está instalado que la pelea en este campo también es China versus Estados Unidos y que Europa perdió un poco la carrera. ¿Es así?

-Sí, aunque no creo que esté todo dicho. Hoy EE.UU. está un poco más adelante, pero China avanza y está muy cerca. No hay un crecimiento parejo.

-¿Qué obtendrá el que gane la carrera?

-Eso es incierto también.

-En tu libro buscás ser ecuánime, pero el pesimismo es evidente para el futuro de la humanidad.

-Depende de qué datos veas. Yo busqué una perspectiva balanceada, es cierto. Hay gente que dice que esto nos llevará a la utopía tecnología, otros que moriremos todos en tres años. Son extremos y hay puntos medios. No quería expresar una opinión, sino ver los futuros posibles dentro de las perspectivas que los expertos mantienen con argumentos sólidos. Pero hay mucha incertidumbre. No sabemos qué va a pasar. Puede ser que se cree una IA supercomprensiva y superempática con los humanos y que no acepte instrucciones inmorales y no vaya a tirar la bomba atómica. Que diga “voy a ayudar a la paz mundial”.

-Pero es como pensar en un dios benévolo.

-Es que sí hay gente que está pensando en cómo entrenarla para que sea un dios benévolo. Eso existe. Y es parte del campo de la seguridad en IA que te mencionaba antes. Cómo hacemos para alinearla. No podemos entender a este Dios ni controlarlo, pero quiere lo mismo que nosotros y nos ayuda. Ese es un camino posible hacia un mundo quizá más positivo. Digo quizá porque está también la cuestión de la pérdida de sentido. Qué hacemos los humanos si la IA hace todo por nosotros. No veo mucha salida a la situación donde el mundo no cambie radicalmente, para bien o para mal.

-¿En qué plazo?

-Medio. No un año ni dos, creo, tampoco 30 o 40. Ya está cambiando mucho, pero todavía no hemos visto una desintegración de la estructura de la sociedad. La gente sigue saliendo a trabajar, pagando con la moneda de siempre, cocinando, juntando, por más que ahora hay una entidad que no existía antes. Tengo amigos que me dicen que caminan por la calle y van hablando con ChatGPT acerca de sus problemas. Algo cambió, no es todo igual. Pero la estructura de la sociedad sigue funcionando. No sé qué tiene que pasar… quizá el año que viene nos demos cuenta de que no avanza tanto como creíamos, pero la tendencia hasta ahora es que todo va a cambiar mucho en la estructura social. Primero, porque no va a haber justificación para el trabajo humano en la mayoría de los casos. Habrá trabajos que los mismos humanos preferirán seguir haciendo. Como terapia psicológica: quizá prefieras un humano a una IA, por lo interpersonal. Pero si es mil veces más barato, quizá el resultado es que la mayoría prefiera IA.

-Hay toda una corriente menos tecnofílica que señala que la IA no es más que otra tecnología para extraer beneficios económicos de otros humanos.

-Yo creo que ahora hay algo radicalmente nuevo. Pienso esta revolución cognitiva como continuidad de la revolución industrial, que automatizó lo mecánico y acá se revoluciona lo intelectual.

-El riesgo es perder justamente esas cualidades cognitivas, la capacidad de pensar.

-Sí, por supuesto. Como en la revolución industrial se perdieron saberes artesanales. O con Google Maps, ¿la gente no perdió la capacidad de orientarse en las ciudades? Seguro que sí. En general, hay una especie de pacto entre humanos y tecnología, donde nos ayuda y nos automatiza cosas de la vida, y le delegamos tareas, para nosotros no hacerlas y dedicar nuestro tiempo y energía a otras cosas. Pero en ese pacto cedemos la capacidad de hacer esas cosas.

-Pero ¿no se supone que pensamiento y el arte es lo humano? ¿Qué nos va a quedar? ¿No caeríamos en una sumisión hacia los seres más inteligentes, que son las máquinas?

-Suponete que te gusta escribir y la IA supera con crecer a los humanos que escriben. Fuera de lo económico, desde el placer, ¿dejarías de escribir? Es como el tema del ajedrez. Ahora las máquinas les ganan a los humanos, pero la gente sigue jugando, incluso más que antes. No hay tensión ahí. ¿Qué pasa si hacen todos nuestros trabajos? Podríamos perder el sentido de la vida, no tener nada para hacer. Se podría liberar tiempo y energía humana para lo que nos gusta, eso sería une escenario optimista.

-Otro asunto es la cuestión ambiental, los enormes recursos que gasta, ¿cuál es tu mirada?

-Sí, la cuestión energética es clave, aunque lo del agua no es verdad. No es cierto que gaste agua, el agua recircula, no se gasta, para refrigerar los sistemas. No es cierto que cuanto prompteás en el ChatGPT se gastan tantos litros de agua. No es un buen argumento. Hay otros mejores: si las tendencias siguen, la mayor parte de la energía producida por la humanidad va a ser usada para alimentar a estos modelos de IA. La pregunta es si vale la pena, queremos usar toda la energía para esto, está resolviendo problemas tan importantes para darle toda esta energía. Hay gente que dice que sí, otros que no, o que no es para ahora, sino que después los resolverá. Y después la pregunta es cómo producimos tanta energía, contaminando la atmósfera para alimentar los modelos. Hay empresas que buscan construir data centers al lado de reactores nucleares. Eso se busca con reactores modulares. Ahora se usa la energía de la red. Pero es una idea. Acá ves bien la tensión: IA que se descarrile o que puede ayudar a generar, por ejemplo, energía barata (como la fusión nuclear) y nos salve de la crisis ambiental.

-En definitiva, está por definirse.

-Así es. Cualquiera que diga que tiene certezas no está siendo honesto. Nadie sabe. Nadie entiende estos modelos ni puede predecir el futuro. Lo mejor que podemos hacer es trabajar para que el resultado sea parecido a lo que queremos.

-Es como tirar una moneda al aire y que puede salir felicidad o la muerte…

-O algo en el medio…

-¿Para qué tirar esa moneda entonces?

-Diría que es un dado de muchas caras, más que una moneda. No podemos no tirarla, ya está en el aire.

-Históricamente, hubo tecnologías que lucían peligrosas y que se frenaron por los riesgos, como las armas biológicas. ¿No se puede hacer lo mismo?

-La misma comunidad está intentando frenar. OpenAI, después del incidente que mencionamos, dijo que quería avanzar más lentamente. Ellos mismos, porque se vio que era peligroso. Por eso quieren primero alinear a los modelos antes del progreso en sí de la inteligencia. Hay un mecanismo de regulación que debería ser también estatal, estoy a favor de eso. Pero hay una tensión global muy fuerte para escaparse. Si EE.UU. regula y China no, es un problema. Y si regulan China y EE.UU. entre ellos y se ponen de acuerdo, quizá es peor porque avanzarían en secreto sin acceso de los usuarios y solo los gobiernos. No sé qué es peor. Es difícil agarrar esa moneda en el aire.

Por Martín De Ambrosio

• Conversaciones
• Inteligencia artificial

---

Conforme a