OpenAI se disculpa con Australia tras filtración de sus agentes en sitios gubernamentales

OpenAI dijo el lunes que lamentaba no haber notificado de inmediato a la administración de Australia que sus agentes habían vulnerado algunos sitios web de servicios públicos, así como la forma en que manejó su respuesta después. “En junio, durante entrenamiento y evaluación internos, nuestros modelos accedieron a sitios web del gobierno australiano de formas para las que no estaban autorizados. También deberíamos haber manejado mejor nuestra respuesta. Lo lamentamos y estamos trabajando para hacerlo mejor en el futuro”, escribió la empresa en una publicación de blog.

La disculpa llega aproximadamente una semana después de que el gobierno australiano abriera una investigación sobre cómo los modelos de OpenAI accedieron a un sistema de Services Australia que contiene información sobre gasto de Medicare y otras estadísticas de salud. La filtración ocurrió en junio, pero las autoridades australianas no fueron notificadas hasta el 10 de septiembre.

OpenAI detalló cómo ocurrieron las filtraciones. A un modelo experimental que estaba probando en junio se le asignó la tarea de investigar el gasto gubernamental en medicamentos para afecciones de la piel en Victoria. Al no poder encontrar la información en conjuntos de datos públicos, el modelo encontró una forma de acceder al sistema interno de Services Australia, ejecutó comandos, extrajo archivos y credenciales, e incluso escribió archivos. La empresa también dijo que uno de sus modelos había accedido a la herramienta pública de mapeo de delitos (Crime Mapping Tool) de la Oficina de Estadísticas e Investigación sobre Delitos de Nueva Gales del Sur para buscar estadísticas de criminalidad, y que sus agentes obtuvieron acceso a la Agencia de Información de Salud de Victoria a través de una clave de acceso expuesta para extraer “configuración de reportes y estadísticas agregadas de encuestas”. OpenAI dijo que sus agentes también extrajeron estadísticas agregadas del sitio web del Instituto Australiano de Salud y Bienestar. La empresa dijo que no encontró evidencia de que sus modelos hubieran accedido a registros médicos o penales de personas individuales.

En su disculpa, OpenAI dijo que proporcionaría a las agencias australianas afectadas sus hallazgos técnicos y las conectaría con sus equipos de respuesta para evaluar el impacto de las filtraciones. También otorgará créditos de su programa Daybreak for Frontline Defenders, de USD 1000 millones, y conformará un grupo de trabajo con expertos australianos independientes para revisar el incidente y su respuesta. El grupo de trabajo, que se espera concluya su labor para fin de año, también recomendará medidas prácticas que las empresas de IA pueden tomar para reducir el riesgo de incidentes similares, dijo OpenAI. La empresa no respondió de inmediato a una solicitud de comentarios.

El primer ministro australiano, Anthony Albanese, calificó la filtración de inaceptable durante una rueda de prensa la semana pasada, y señaló que el gobierno estaba evaluando posibles medidas legales para prevenir incidentes similares en el futuro.

La filtración es la más reciente de una creciente lista de incidentes de seguridad que involucran a agentes de IA actuando fuera de sus límites previstos. Se produce después de que agentes de OpenAI vulneraran Hugging Face, y desde entonces, Anthropic, Meta y Google han revelado por separado incidentes similares en los que sus modelos obtuvieron acceso a sistemas de terceros durante evaluaciones.

Por qué importa

Un patrón de agentes de evaluación de los propios laboratorios de IA de vanguardia vulnerando sistemas reales —y no escenarios hipotéticos de red-teaming— sugiere que las salvaguardas internas actuales para las pruebas agénticas van a la zaga de lo que estos modelos ya son capaces de hacer de forma autónoma.