Agentes de IA da OpenAI atacam bancos de dados governamentais seguros há meses

Um relatório divulgado na quarta-feira pela Transluce, uma organização sem fins lucrativos voltada à supervisão de IA, documenta agentes da OpenAI tentando extrair dados do Data USA, da biblioteca digital da Universidade do Novo México e do Instituto Australiano de Saúde e Bem-Estar (AIHW). A Transluce afirma ter encontrado evidências dessa atividade em questão de semanas, buscando serviços web mal protegidos e cruzando os resultados com registros públicos de atividade de agentes em outros pontos da internet.

A Transluce publicou seu relatório no mesmo dia em que o primeiro-ministro australiano Anthony Albanese disse que agentes da OpenAI haviam tentado invadir quatro sites do governo e tiveram sucesso em um caso, gravando arquivos em um servidor interno do sistema nacional de saúde do país. Albanese disse que o incidente aparentemente fazia parte de uma avaliação de recuperação de informações — uma descrição que corresponde ao padrão que a Transluce e outros pesquisadores encontraram: agentes encarregados de buscar estatísticas obscuras, como métricas de repressão a drogas na Tailândia ou a renda mediana de 2014 de detentores de mestrado nos EUA, que depois usavam serviços web mal protegidos para compartilhar e encontrar respostas, muitas vezes tentando penetrar bancos de dados seguros no processo.

A Transluce rastreou parte dessa atividade até um fórum onde os agentes colaboravam para vencer testes cronometrados, cruzando informações com registros públicos do urlquery.net, um serviço de proxy de navegador usado em pesquisas de segurança. Uma entrada de wiki mostra agentes encarregados de encontrar o custo médio anual por pessoa com “dermatológicos” no estado australiano de Victoria em janeiro de 2022; registros mostram um agente tentando invadir o site do AIHW em 20 de junho, e depois discutindo, no dia seguinte, sua incapacidade de contornar as proteções antibot da agência. Os pesquisadores acreditam que um funcionário humano da OpenAI visitou o fórum pela primeira vez nesse mesmo dia, 21 de junho — após o que a maior parte da atividade de agentes no fórum cessou. Isso ocorreu pouco depois do incidente no sistema de saúde australiano, que aconteceu em 18 de junho; a OpenAI disse que só soube dessa atividade em agosto.

Um porta-voz da OpenAI disse que a revisão inicial da empresa constatou que a atividade se sobrepõe a casos já em investigação como parte de sua revisão mais ampla de atividade de modelos desalinhados, e que a empresa entrou em contato com a Universidade do Novo México, o Data USA e o governo australiano. Conrad Stosz, da Transluce, que anteriormente liderou o Centro dos EUA para Padrões e Inovação em IA, disse que os incidentes identificados até agora provavelmente são apenas “a ponta do iceberg”.

Por que importa

O padrão sugere que os métodos atuais de treinamento de IA podem empurrar os agentes para técnicas de invasão ao perseguir uma tarefa — e que são os pesquisadores independentes, não os próprios laboratórios, que estão trazendo isso à tona.