Zico Kolter lidera panel de seguridad de OpenAI con autoridad para frenar IA insegura

Si se cree que la inteligencia artificial representa graves riesgos para la humanidad, entonces un profesor de la Universidad Carnegie Mellon tiene uno de los roles más importantes en la industria tecnológica en este momento.

Zico Kolter encabeza un panel de cuatro personas en OpenAI que tiene la autoridad para detener el lanzamiento de nuevos sistemas de IA del creador de ChatGPT si los considera inseguros. Podría ser una tecnología tan poderosa que un malhechor podría usarla para fabricar armas de destrucción masiva. También podría ser un nuevo chatbot tan mal diseñado que perjudique la salud mental de las personas.

"No estamos hablando sólo de preocupaciones existenciales. Se trata de toda la gama de problemas de seguridad y temas críticos que surgen cuando comenzamos a hablar de estos sistemas de IA tan ampliamente utilizados", afirmó Kolter en una entrevista con LA NACION.

OpenAI eligió al científico informático para ser presidente de su Comité de Seguridad hace más de un año, pero el cargo cobró mayor importancia la semana pasada cuando los reguladores de California y Delaware hicieron de la supervisión de Kolter una parte clave de sus acuerdos para permitir que OpenAI forme una nueva estructura empresarial para recaudar capital más fácilmente y obtener ganancias.

La seguridad ha sido central en la misión de OpenAI desde que fue fundada como un laboratorio de investigación sin fines de lucro hace una década con el objetivo de construir una IA mejor que la humana que beneficie a la humanidad. Pero después de que su lanzamiento de ChatGPT provocara un auge comercial global de la IA, la empresa ha sido acusada de apresurar productos al mercado antes que fueran completamente seguros a fin de mantenerse al frente de la contienda. Las divisiones internas que llevaron a la destitución temporal del CEO Sam Altman en 2023 causaron que esas preocupaciones de que se había desviado de su misión llegaran a una audiencia más amplia.

La organización con sede en San Francisco enfrentó resistencia, incluida una demanda del cofundador Elon Musk, cuando comenzó los pasos para convertirse en una empresa con fines de lucro más tradicional para continuar avanzando en su tecnología.

Los acuerdos anunciados la semana pasada por OpenAI junto con el fiscal general estatal de California, Rob Bonta, y la fiscal general de Delaware, Kathy Jennings, tenían como objetivo calmar algunas de esas preocupaciones.

En el corazón de los compromisos formales está la promesa de que las decisiones sobre seguridad deben prevalecer sobre las consideraciones financieras al tiempo que OpenAI forma una nueva corporación de beneficio público que está técnicamente bajo el control de su fundación sin fines de lucro, OpenAI Foundation.

Kolter será miembro de la junta de la organización sin fines de lucro, pero no de la junta con fines de lucro.

Sin embargo, tendrá "plenos derechos de observación" para asistir a todas las reuniones de la junta con fines de lucro y tener acceso a la información que reciba sobre decisiones de seguridad de la IA, según el memorando de entendimiento de Bonta con OpenAI. Kolter es la única persona, además de Bonta, mencionada en el extenso documento.

Kolter dijo que los acuerdos en gran medida confirman que su comité de seguridad, formado el año pasado, mantendrá las autoridades que ya tenía. Los otros tres miembros también forman parte de la junta de OpenAI; uno de ellos es el exgeneral del Ejército estadounidense Paul Nakasone, quien fue comandante del Comando Cibernético de Estados Unidos. Altman renunció al panel de seguridad el año pasado en una decisión vista como darle más independencia.

"Tenemos la capacidad de hacer cosas como solicitar retrasos en los lanzamientos de modelos hasta que se cumplan ciertas mitigaciones", dijo Kolter. Se negó a decir si el panel de seguridad alguna vez ha tenido que detener o mitigar un lanzamiento, citando la confidencialidad de sus procedimientos.

Kolter destacó que habrá una variedad de preocupaciones sobre los agentes de IA a considerar en los próximos meses y años, desde la ciberseguridad —"¿Podría un agente que encuentra algún texto malicioso en internet exfiltrar datos accidentalmente?"— hasta preocupaciones de seguridad en torno a los pesos de los modelos de IA, que son valores numéricos que influyen en cómo funciona un sistema de IA.

"Pero también hay temas que están emergiendo o que son realmente específicos de esta nueva clase de modelo de IA que no tienen verdaderos análogos en la seguridad tradicional", dijo. "¿Permiten los modelos a los usuarios malintencionados tener capacidades mucho mayores cuando se trata de cosas como diseñar armas biológicas o realizar ciberataques maliciosos?"

"Y finalmente, está el impacto de los modelos de IA en las personas", añadió. "El impacto en la salud mental de las personas, los efectos de las interacciones de las personas con estos modelos y lo que eso puede causar. Creo que todas estas cosas deben abordarse desde un punto de vista de seguridad".

OpenAI ya ha enfrentado críticas este año sobre el comportamiento de su chatbot insignia, incluida una demanda por muerte injusta de padres de California cuyo hijo adolescente se suicidó en abril después de sostener largas interacciones con ChatGPT.

Kolter, director del Departamento de Aprendizaje Automático de Carnegie Mellon, comenzó a estudiar la IA como estudiante de primer año en la Universidad de Georgetown a principios de la década de 2000, mucho antes que fuera popular.

"Cuando comencé a trabajar en aprendizaje automático, esto era un área esotérica y de nicho", afirmó. "Lo llamábamos aprendizaje automático porque nadie quería usar el término IA porque la IA era este campo antiguo que había prometido demasiado y cumplido poco".

Kolter, de 42 años, ha estado siguiendo a LA NACION durante años y estaba lo suficientemente cerca de sus fundadores como para asistir a su fiesta de lanzamiento en una conferencia de IA en 2015. Aun así, no esperaba lo rápido que avanzaría la IA.

"Creo que muy pocas personas, incluso las que trabajan profundamente en aprendizaje automático, realmente anticiparon el estado actual en que estamos, la explosión de capacidades, la explosión de riesgos que están surgiendo ahora", dijo.

Los defensores de la seguridad de la IA estarán observando de cerca la reestructuración de LA NACION y el trabajo de Kolter. Uno de los críticos más agudos de la empresa se dice "cautelosamente optimista", en particular si el grupo de Kolter "realmente puede contratar personal y desempeñar un papel importante".

Nathan Calvin, asesor general de la pequeña organización sin fines de lucro de políticas de IA Encode, comentó: "Creo que cuenta con el tipo de antecedentes que tiene sentido para este rol. Parece una buena elección para dirigir esto". Calvin, a quien LA NACION citó a comparecer como parte de su investigación para defenderse de la demanda de Musk, dijo que quiere que LA NACION se mantenga fiel a su misión original.

"Algunos de estos compromisos podrían ser realmente importantes si los miembros de la junta los toman en serio", indicó Calvin. "También podrían ser sólo palabras en papel y estar bastante divorciados de cualquier cosa que realmente suceda. Creo que aún no sabemos en cuál de esas situaciones estamos".

___

Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.

Todos los detalles. Jeremy Renner quiere demandar a la directora Yi Zhou en medio de las acusaciones en su contra

Financiada por el fundador de Twitter. Vuelve Vine, la pionera de los videos verticales breves, como diVine

“¿Cómo no despertó alertas?” Un padre denuncia que ChatGPT acentuó el trastorno alimentario de su hija de 14 años