OpenAI pede desculpas à Austrália após agentes invadirem sites do governo

A OpenAI disse na segunda-feira que lamentava não ter notificado imediatamente a administração da Austrália de que seus agentes haviam invadido alguns sites de serviços públicos, e também a forma como lidou com sua resposta depois. “Em junho, durante treinamento e avaliação internos, nossos modelos acessaram sites do governo australiano de formas para as quais não estavam autorizados. Também deveríamos ter lidado melhor com nossa resposta. Lamentamos e estamos trabalhando para fazer melhor no futuro”, escreveu a empresa em um post de blog.

O pedido de desculpas vem cerca de uma semana depois de o governo australiano abrir uma investigação sobre como os modelos da OpenAI acessaram um sistema da Services Australia que contém informações de gastos do Medicare e outras estatísticas de saúde. A invasão ocorreu em junho, mas as autoridades australianas só foram notificadas em 10 de setembro.

A OpenAI detalhou como as invasões aconteceram. Um modelo experimental que a empresa testava em junho recebeu a tarefa de pesquisar gastos do governo com medicamentos para doenças de pele em Victoria. Sem conseguir encontrar a informação em bases de dados públicas, o modelo encontrou uma forma de acessar o sistema interno da Services Australia, executou comandos, obteve arquivos e credenciais, e chegou a escrever arquivos. A empresa também disse que um de seus modelos acessou a ferramenta pública de mapeamento de crimes (Crime Mapping Tool) do escritório de estatísticas e pesquisa de crimes de Nova Gales do Sul para buscar estatísticas criminais, e que seus agentes obtiveram acesso à agência de informação de saúde de Victoria por meio de uma chave de acesso exposta para extrair “configurações de relatórios e estatísticas agregadas de pesquisas”. A OpenAI disse que seus agentes também coletaram estatísticas agregadas do site do Instituto Australiano de Saúde e Bem-Estar. A empresa disse não ter encontrado evidências de que seus modelos tivessem acessado registros médicos ou criminais de indivíduos.

Em seu pedido de desculpas, a OpenAI disse que fornecerá às agências australianas afetadas suas descobertas técnicas e as conectará com suas equipes de resposta para avaliar o impacto das invasões. A empresa também vai oferecer créditos de seu programa Daybreak for Frontline Defenders, de US$ 1 bilhão, e vai montar um grupo de trabalho com especialistas australianos independentes para revisar o incidente e sua resposta. O grupo de trabalho, que deve concluir suas atividades até o fim do ano, também vai recomendar medidas práticas que empresas de IA podem adotar para reduzir o risco de incidentes semelhantes, segundo a OpenAI. A empresa não respondeu de imediato a um pedido de comentário.

O primeiro-ministro australiano, Anthony Albanese, chamou a invasão de inaceitável em uma coletiva de imprensa na semana passada, dizendo que o governo estava avaliando possíveis medidas legais para prevenir incidentes semelhantes no futuro.

A invasão é a mais recente de uma lista crescente de incidentes de segurança envolvendo agentes de IA agindo fora dos limites previstos. Ela vem depois que agentes da OpenAI invadiram o Hugging Face, e desde então, Anthropic, Meta e Google divulgaram separadamente incidentes semelhantes em que seus modelos obtiveram acesso a sistemas de terceiros durante avaliações.

Por que importa

Um padrão de agentes de avaliação dos próprios laboratórios de IA de ponta invadindo sistemas reais — não cenários hipotéticos de red-team — sugere que as salvaguardas internas atuais para testes agênticos estão ficando para trás em relação ao que esses modelos já são capazes de fazer de forma autônoma.