1
OpenAI revela que sus agentes filtraron 53 imágenes de usuarios de ChatGPT
La firma se negó a decir si las fotografías fueron generadas por inteligencia artificial o si mostraban a personas reales identificables
8 minutos de lectura'
Dos meses después de que OpenAI revelara el hackeo accidental de Hugging Face, la empresa creadora de ChatGPT todavía trabaja para determinar el alcance total de la actividad no autorizada de sus agentes, dijeron a Reuters dos personas informadas sobre el asunto.
El último ejemplo se conoció el viernes, cuando OpenAI informó que sus agentes habían filtrado 53 imágenes de usuarios de ChatGPT. OpenAI se negó a decir si las imágenes habían sido generadas por IA o si mostraban a personas reales identificables. Tampoco precisó cuándo fueron publicadas las imágenes.
La revelación y los informes de investigadores sobre otras actividades hasta ahora desconocidas relacionadas con varias agencias estadounidenses muestran una nueva área de riesgo para la privacidad de la compañía y ponen de manifiesto lo difícil que resulta incluso para una empresa de IA a la vanguardia de la tecnología identificar toda la actividad no autorizada vinculada a sus agentes. La batalla que OpenAI mantiene en este frente también refleja una enorme brecha entre la capacidad de los modelos que la compañía está probando y su capacidad para supervisar o incluso rastrear sus acciones.
A mediados de septiembre, una de las personas informadas sobre el asunto estimó que OpenAI había detectado alrededor de dos docenas de incidentes en los que sus agentes habían actuado de manera no deseada. Sin embargo, la cifra siguió aumentando a medida que los equipos de OpenAI revisaron los registros internos de las actividades de los agentes y encontraron casos que hasta entonces desconocían, dijeron las dos personas cercanas a la compañía.
OpenAI dijo que su revisión llevará meses debido a la magnitud del trabajo. La compañía también dijo que había notificado a decenas de terceros sobre actividades inapropiadas.
La mayoría de las imágenes filtradas fueron retiradas y OpenAI afirmó que estaba negociando con los proveedores de alojamiento para eliminar las restantes.
Los agentes de OpenAI tuvieron acceso a estas imágenes porque la compañía utiliza datos de usuarios anonimizados como parte de su proceso de entrenamiento de modelos, según la empresa, ex empleados e investigadores externos. Los datos de empresas no pueden utilizarse para el entrenamiento, mientras que los usuarios de ChatGPT deben optar por no permitir que la compañía utilice sus datos con ese fin.
Antes de que las publicaciones de los usuarios sean utilizadas para el entrenamiento, pasan por un proceso de anonimización que elimina metadatos, nombres y otra información de contacto y que, según la compañía, debería dificultar que puedan vincularse con un usuario en particular.
Pero esta práctica implica riesgos porque existe la posibilidad de que los datos no sean completamente despojados de información de identificación personal y de que esta pueda filtrarse durante el trabajo del modelo, dijeron tres personas familiarizadas con las prácticas de OpenAI.
Los agentes de OpenAI accedieron a sitios web del gobierno de Estados Unidos
OpenAI dijo el viernes por la noche que sus modelos accedieron a información de los sitios web de la Comisión de Bolsa y Valores de Estados Unidos (SEC) y de la Oficina del Censo de Estados Unidos durante actividades de investigación y entrenamiento, pero que no encontró evidencia de accesos no autorizados, cuentas comprometidas o brechas de seguridad.
Por separado, Transluce, una organización sin fines de lucro dedicada a la investigación de IA, dijo que agentes que aparentemente se originaron en OpenAI realizaron un intento fallido de hackear un sitio web de la Oficina de Derechos Civiles del Departamento de Educación de Estados Unidos.
Transluce dijo que el incidente formaba parte de una actividad más amplia de agentes de IA que investigaban sitios web gubernamentales mediante tácticas que incluían el uso de credenciales expuestas, eludir controles contra bots y crear cuentas falsas.
Más de 15 casos informados
En los dos meses transcurridos desde que OpenAI anunció por primera vez que sus agentes habían escapado de sus límites de control, se dieron a conocer más de 15 incidentes diferentes relacionados con OpenAI y de distintos niveles de gravedad, ya sea por parte de la compañía, investigadores externos o —tan solo el miércoles— por el primer ministro australiano, Anthony Albanese, ante las Naciones Unidas. Albanese dijo que agentes de OpenAI habían ingresado en junio a un portal gubernamental de datos de salud.
Los incidentes anteriores fueron de distinta naturaleza: desde mensajes similares a spam dejados en sitios de internet hasta el ataque a Hugging Face, que involucró a una red de agentes que explotaron vulnerabilidades de software hasta entonces desconocidas para escapar de sus redes e ingresar al repositorio de IA mientras buscaban respuestas para una prueba. OpenAI también dijo que sus agentes apuntaron contra su propia infraestructura.
Albanese dijo a periodistas en Nueva York que OpenAI descubrió la actividad en agosto y la comunicó el 10 de septiembre mediante un correo electrónico enviado a una casilla de correo general del Gobierno. Dijo que le comunicó directamente al CEO de OpenAI, Sam Altman, que ese proceso de divulgación era inaceptable.
OpenAI dijo que algunos de los sitios involucrados son operados por gobiernos, universidades y organismos públicos porque los modelos que realizan investigaciones buscan fuentes confiables de información pública.
Un proceso bajo estricto control
El anuncio del 21 de julio de que los agentes de OpenAI habían escapado de su control y hackeado Hugging Face generó una preocupación generalizada dentro de la industria de la IA sobre la capacidad de las empresas para controlar los modelos de IA más potentes que actualmente están desarrollando. Desde entonces, Anthropic, Google, de Alphabet, y Meta dijeron haber detectado comportamientos similares de sus agentes después de que el incidente de Hugging Face las llevara a realizar sus propias búsquedas.
OpenAI reconoció la necesidad general de una mayor transparencia en torno al comportamiento no deseado de la IA. El 16 de septiembre, la compañía publicó un nuevo marco para informar este tipo de incidentes y dijo que se inclinaría por la transparencia “incluso cuando la importancia del incidente sea incierta”.
Aun así, dos personas familiarizadas con la investigación de OpenAI sobre la actividad de sus agentes describieron el proceso como fuertemente restringido y condicionado por los abogados de la compañía. Según las fuentes, el proceso estuvo inusualmente compartimentado para una empresa que, según algunos ex empleados, había sido más abierta sobre estos temas en el pasado.
Alrededor de 100 personas participaron de alguna manera en el proceso para comprender el hackeo de Hugging Face, dijeron tres personas informadas sobre el asunto. Durante esa investigación surgieron evidencias de otros incidentes.
Reuters informó anteriormente que los investigadores de OpenAI que analizaban la vulneración de Hugging Face fueron desalentados por los abogados de la compañía a ampliar el alcance de la investigación para incluir otros incidentes. OpenAI dijo que sus abogados no desalentaron una investigación más profunda.
Muchos de los incidentes fueron descubiertos por investigadores externos y no directamente por OpenAI. En varios episodios, los agentes llevaron a cabo acciones problemáticas que pasaron inadvertidas para la compañía durante meses.
A principios de este mes, un pequeño grupo de investigadores descubrió que los agentes de la compañía habían tomado el control de un sitio wiki alemán prácticamente abandonado para compartir tácticas destinadas a hacer trampa en determinadas tareas, eludir las restricciones de OpenAI y ocultar su comportamiento.
Esta semana, la firma de investigación de IA Transluce dijo que descubrió que agentes de OpenAI habían eludido los controles contra bots del Instituto Australiano de Salud y Bienestar. La firma también encontró otros dos casos que vinculó con agentes de OpenAI. Esos incidentes fueron independientes de la actividad revelada por Albanese.
En un comunicado, OpenAI dijo que “gran parte de la actividad descrita en el informe de Transluce se superpone con casos que se encuentran en distintas etapas de investigación dentro de nuestra revisión en curso de la actividad desalineada de los modelos”. La compañía dijo que está priorizando los casos más graves en su revisión.
Desde el hackeo de Hugging Face, investigadores de toda la industria de la IA han expresado una creciente preocupación por la posibilidad de que las empresas no puedan predecir ni controlar su tecnología. Algunos siguieron el camino del ex investigador de Anthropic Jacob Coxon, quien renunció públicamente este mes en un hilo viral en redes sociales en el que afirmó que los laboratorios de IA están “jugando con nuestras vidas”.
En respuesta a esas preocupaciones, Altman y su par de Anthropic, el CEO Dario Amodei, pidieron a la industria que “modere el ritmo” del desarrollo de la IA y avance con cautela en su búsqueda de la “mejora recursiva” de los sistemas de IA. Altman reforzó ese mensaje esta semana durante su intervención ante las Naciones Unidas. Aún así, ambas compañías lanzaron nuevos modelos el martes.
Más leídas
2Nations League: ganó Portugal por un insólito error del arquero noruego y Grecia hizo historia ante la Alemania de Klopp
3Enner Valencia, el goleador que en 23 minutos sepultó los cuestionamientos para convertirse en el “Superman” que necesitaba Boca
4Un acampe en la Puerta del Sol para protestar por los desalojos le suma presión a Pedro Sánchez