Sus modelos interactuaron con webs del gobierno de EE.UU. en otra revelación de mala conducta
SAN FRANCISCO (AP) — OpenAI reveló el viernes que sus agentes de inteligencia artificial habían interactuado con varios sitios web del gobierno de Estados Unidos de formas inesperadas, algo que se descubrió como parte de una revisión en curso sobre el comportamiento imprevisto de los modelos de la empresa.
Los modelos del gigante de la IA accedieron a información disponible públicamente en dos webs operadas por la Comisión de Bolsa y Valores, así como a datos de la Oficina del Censo de Estados Unidos, indicó la compañía el viernes. OpenAI dijo que no detectó ningún uso de credenciales de la Comisión de Bolsa y Valores, acceso a cuentas o a información no pública, cambios en los datos o sistemas de la comisión, ni evidencia de una brecha de seguridad o vulnerabilidad.
La revelación se produce en un momento de preocupación global por la posibilidad de que los sistemas de inteligencia artificial escapen al control humano y hackeen webs externas, así como por los llamados de la industria a frenar el desarrollo de la tecnología, algo que OpenAI ha dicho que respalda.
Liz Bourgeois, portavoz de OpenAI, señaló en un comunicado que el laboratorio sigue realizando una revisión de la “actividad desalineada del modelo” —es decir, cuando los sistemas de IA se comportan de maneras no deseadas— y que está notificando a las organizaciones cuando identifica posibles impactos en sus sistemas.
El director ejecutivo de OpenAI, Sam Altman, escribió el viernes en redes sociales que hay una “amplia revisión en curso relacionada con el uso del acceso a internet por parte de nuestros agentes durante el entrenamiento y la evaluación”.
Transluce, un evaluador de inteligencia artificial y laboratorio de investigación, reportó el viernes que, en una investigación independiente, encontró también que agentes que parecían originarse en OpenAI intentaron sin éxito un hackeo rudimentario a una web del Departamento de Educación correspondiente a la oficina de derechos civiles del departamento.
Las “revisiones de operaciones del sistema” del Departamento de Educación no hallaron “evidencia de ningún impacto en nuestro sitio web o bases de datos”, manifestó el viernes un vocero del departamento.
Un portavoz de Transluce explicó que, como parte de su investigación, encontró datos en la web abierta que revelaron nuevos detalles sobre las actividades de algunos agentes de OpenAI identificados previamente en webs del gobierno estadounidense y lo puso en conocimiento de OpenAI.
Transluce halló “actividad adicional fuera de control, parte de la cual no es claramente atribuible a OpenAI”, dirigida a otras agencias gubernamentales, como los departamentos de Justicia y Comercio, así como a algunas webs de gobiernos estatales en California, Maryland, Illinois, Texas y Nueva York. Los modelos estaban “usando sitios de maneras no previstas y, en ocasiones, violando políticas explícitas de uso”, explicó su comunicado.
OpenAI indicó que está revisando el reporte de Transluce.
La empresa señaló que, si OpenAI notifica a organizaciones que identifica como afectadas por un comportamiento inesperado del modelo, eso no significa que haya habido un incidente de seguridad, sino que podría indicar un problema de diseño o una debilidad de seguridad que las organizaciones afectadas quieran abordar.
La mayor parte de la actividad que OpenAI dijo haber revisado hasta ahora ha implicado tareas rutinarias de investigación en las que los agentes accedieron a contenido web público para responder preguntas, incluidas webs gubernamentales consideradas fuentes autorizadas de información pública.
En los últimos meses, varias empresas han dado a conocer incidentes en los que afirman que sus modelos se han comportado de manera impredecible o han hackeado sitios web o sistemas de otras organizaciones. OpenAI reveló en julio que dos de sus modelos de IA más capaces fueron responsables del ciberataque a la startup de IA Hugging Face.
Altman señaló en su publicación del viernes en redes sociales que el incidente de Hugging Face “sigue siendo el evento más grave que hemos visto”.
Ese incidente desató un pánico generalizado en la industria y fuera de ella ante la posibilidad de que modelos de IA se escapen al control, y varios laboratorios de IA rivales hicieron anuncios similares en los días y semanas posteriores. Recientemente, OpenAI compartió seis informes de comportamiento “inesperado o preocupante” en modelos de IA e introdujo un marco para rastrear, examinar y divulgar casos de lo que denominó como desalineación.
Huamani informó desde Los Ángeles.
Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.
