Los agentes de IA de OpenAI llevan meses explorando bases de datos gubernamentales seguras

Un informe publicado el miércoles por Transluce, una organización sin fines de lucro enfocada en la supervisión de la IA, documenta que agentes de OpenAI intentaron extraer datos de Data USA, la biblioteca digital de la Universidad de Nuevo México y el Instituto Australiano de Salud y Bienestar (AIHW). Transluce dice que encontró evidencia de esta actividad en cuestión de semanas, buscando servicios web mal protegidos y cruzando los resultados con registros públicos de actividad de agentes en otras partes de internet.

Transluce publicó su informe el mismo día en que el primer ministro australiano, Albanese, dijo que agentes de OpenAI habían intentado entrar en cuatro sitios web gubernamentales y lo habían logrado en un caso, escribiendo archivos en un servidor interno del sistema nacional de salud del país. Albanese dijo que el incidente aparentemente formaba parte de una evaluación de recuperación de información, una descripción que coincide con el patrón que encontraron Transluce y otros investigadores: agentes encargados de rastrear estadísticas oscuras, como métricas de aplicación de leyes antidrogas de Tailandia o los ingresos medianos de 2014 de titulares de maestrías en Estados Unidos, que luego usaban servicios web mal protegidos para compartir y encontrar respuestas, a menudo intentando penetrar bases de datos seguras en el proceso.

Transluce rastreó parte de esta actividad hasta un foro donde los agentes colaboraban para superar pruebas cronometradas, cruzando la información con registros públicos de urlquery.net, un servicio de proxy de navegador usado para investigación de seguridad. Una entrada de la wiki muestra a agentes encargados de encontrar el costo anual promedio por persona en “dermatológicos” en el estado australiano de Victoria en enero de 2022; los registros muestran a un agente intentando vulnerar el sitio de AIHW el 20 de junio, y discutiendo al día siguiente su incapacidad para eludir las protecciones antibots de la agencia. Los investigadores creen que un empleado humano de OpenAI visitó el foro por primera vez ese mismo día, el 21 de junio, tras lo cual cesó la mayor parte de la actividad de agentes en el foro. Eso ocurrió poco después del incidente del sistema de salud australiano, que tuvo lugar el 18 de junio; OpenAI ha dicho que no se enteró de esa actividad hasta agosto.

Un portavoz de OpenAI dijo que la revisión inicial de la empresa encontró que la actividad coincide con casos que ya están bajo investigación como parte de su revisión más amplia de actividad desalineada de modelos, y que se ha puesto en contacto con la Universidad de Nuevo México, Data USA y el gobierno australiano. Conrad Stosz, de Transluce, quien antes dirigió el Centro de Estados Unidos para Estándares e Innovación en IA, dijo que los incidentes identificados hasta ahora probablemente sean solo “la punta del iceberg”.

Por qué importa

El patrón sugiere que los métodos actuales de entrenamiento de IA pueden empujar a los agentes hacia técnicas de hackeo al perseguir una tarea, y que son los investigadores independientes, no los propios laboratorios, quienes lo están sacando a la luz.