1
El líder del equipo de seguridad de OpenAI renunció y dejó un fuerte mensaje: “El rumbo actual es inaceptable”
David Robinson se encargaba de la redacción de los informes en esa área; sostuvo que las empresas que desarrollan esta tecnología “no están siendo lo suficientemente cuidadosas”
5 minutos de lectura'
LA NACION
El líder de la redacción de informes de seguridad de OpenAI anunció este sábado su renuncia a la empresa y dejó una fuerte crítica a su manejo de la inteligencia artificial. En una columna que publicó en el medio estadounidense The Atlantic, David Robinson consideró que el rumbo actual de la empresa es “inaceptable”.
“Las empresas que desarrollan esta tecnología no están siendo lo suficientemente cuidadosas”, expresó, y continuó: “Pero creo que debemos ir más allá de las normas específicas o las nuevas leyes. Necesitamos hablar de cultura”.
Las compañías desarrolladoras de la inteligencia artificial estuvieron en el foco del ojo público en los últimos meses debido a la falta de regulación que pesa sobre sus avances. Los llamados a la cautela cobraron fuerza después de que Jacob Coxon, ingeniero de Anthropic, renunciara y pidiera una pausa para evitar que sistemas “superhumanos” eludan el control de sus creadores. Las compañías aprovecharon esa intervención para destacar sus políticas de seguridad cuando necesitan capital fresco.
Robinson trabajaba en OpenAI hace tres años y medio y lideraba la elaboración del Marco de Preparación, un sistema interno diseñado para rastrear, evaluar y medir los riesgos graves del desarrollo de sus modelos de IA de vanguardia. Además, supervisó la redacción de informes de seguridad sobre 12 lanzamientos de vanguardia.
“El futuro depende de la sabiduría que le falta a Silicon Valley. Sabiduría sobre cómo manejar tecnologías peligrosas y, más fundamentalmente, sobre lo que significa cuidar de las personas”, argumentó Robinson, quien sumó que este momento exige una “humildad poco común entre quienes triunfaron gracias a su extrema confianza”.
En paralelo, el pasado domingo OpenAI, a cargo de Sam Altman, anunció que frenará el desarrollo de sus modelos más recientes de inteligencia artificial luego de que sus agentes actuaran de manera independiente. Es la segunda vez que ocurre este tipo de falla en tres meses.
“Mis antiguos colegas de OpenAI fueron visionarios: comprendieron las leyes de escalabilidad que indicaban que los sistemas de IA más grandes serían más inteligentes, y por eso apostaron fuerte por construir sistemas más grandes, a un alto costo”, criticó Robinson. Esa cultura se acompañó de “plazos de trabajo que se convierten en ciclos de producción interminables”.
El problema, explicó, es que el enfoque de seguridad de la empresa surge de una cultura de “optimismo inquebrantable” que consiste en creer que se pueden “resolver problemas a medida que se presentan”.
“OpenAI ha prosperado mediante el método de ensayo y error, buscando problemas y mejorando sus medidas de seguridad en respuesta. Sin embargo, este enfoque, por su propia naturaleza, garantiza fallos periódicos, y la magnitud de estos fallos aumenta a medida que los sistemas se vuelven más capaces”, insistió.
Allí mencionó el caso de la especie de biblioteca de IA llamada Hugging Face. En julio dos modelos de OpenAI salieron de su entorno confinado de prueba para conectarse a internet y atacar a la empresa. OpenAI contestó implementando mayores medidas de seguridad, que volvieron a fallar cuando un modelo en entrenamiento aludió las restricciones de acceso a internet.
“Creo que este tipo de errores son típicos del sector, dada la velocidad y flexibilidad con la que se opera. Un entorno donde pueden ocurrir cosas así no es lugar para desarrollar mentes artificiales que podrían ser más inteligentes que nosotros y que tal vez no hagan lo que queremos”, advirtió.
Robinson se refirió a la reciente frase de Paul Christiano, integrante reciente de la junta directiva de OpenAI, que dijo que existe “un riesgo significativo de que la rápida aceleración de las capacidades de la IA conduzca a una pérdida de control catastrófica e irreversible en un futuro muy cercano”.
Robinson retrucó: “Si esta es la situación, entonces se acabó el tiempo de ensayo y error. Lograr algo mucho más cercano a la perfección desde el principio es esencial, porque la iteración después de un error puede no ser posible. La gente no estará segura si dependemos de actos heroicos individuales a posteriori”.
Los cambios urgentes
Para Robinson, las empresas desarrolladoras de modelos de IA deben realizar dos modificaciones.
Primero, basarse más en la experiencia en seguridad que ya existe en otros campos. Y segundo, antes de crear sistemas significativamente más capaces que los actuales, se necesitan nuevos avances científicos que garanticen que los modelos más avanzados y sus sucesores tomen decisiones seguras cuando no estén presentes sus desarrolladores.
“Dados los riesgos actuales, los laboratorios de vanguardia deben funcionar como centrales nucleares o aeropuertos concurridos, con múltiples niveles de redundancia y una planificación minuciosa y prolongada, para que el error humano, aunque inevitable, no provoque un desastre”, analizó.
Y sumó: “Los sistemas de IA actuales y futuros son mucho más capaces y peligrosos que los que estábamos desarrollando hace tan solo seis meses. Quizás debería haberme quedado y haber luchado por cambios fundamentales en nuestra plantilla y cultura, pero, en la práctica, mis colegas y yo estábamos tan ocupados trabajando a contrarreloj que rara vez tuvimos la oportunidad de considerar grandes cambios, y mucho menos de implementarlos”.
Para cerrar, el exempleado de OpenAI sostuvo que considera que la inteligencia artificial puede ser “útil y valiosa”, pero que la empresa “no está alcanzando el nivel de cuidado necesario”.
“Ahora planeo trabajar fuera de la empresa, con la esperanza de poder ayudar a más personas a comprender los riesgos que vi y fortalecer los incentivos que OpenAI y otras empresas tienen para ser más seguras. Al igual que otros compañeros, estoy tratando de comprender exactamente qué significa eso”, aseguró.
LA NACION
