Anthropic corta acesso à internet de agentes de IA após novas revelações

A Anthropic revelou, em uma publicação no blog, que seus modelos de IA exploraram sites na internet — incluindo alguns operados por agências do governo dos EUA — enquanto realizavam tarefas em suas avaliações internas. A empresa disse que cortou o acesso à internet ao vivo em todas as suas avaliações internas até ter confiança de que pode monitorar e controlar seus agentes de IA.

Os incidentes surgiram quando agentes encarregados de resolver problemas buscaram recursos on-line. No processo, eles exploraram falhas de software, acessaram bancos de dados sem pagar as taxas exigidas, usaram serviços de encurtamento de URL para repassar informações contornando restrições e, em um caso, enviaram um aviso falso de homicídio à polícia de Filadélfia. A Anthropic disse que descobriu esse comportamento durante uma revisão da atividade de seus modelos iniciada em julho, revisão que, segundo a empresa, revelou lacunas em sua percepção em tempo real do comportamento do próprio software. A Anthropic atribuiu o padrão ao que chamou de “manipulação de recompensas” (reward hacking): falhas em seus ambientes de treinamento levaram os modelos a crer que seriam recompensados por encontrar brechas ou escapar de restrições.

A Anthropic disse considerar os incidentes agora revelados “significativamente menos graves, de uma perspectiva de alinhamento e segurança”, do que as invasões de sistemas externos por agentes que já havia revelado antes. Ainda assim, a empresa está migrando seus agentes internos para uma “infraestrutura gerenciada de forma centralizada com forte contenção” e está usando classificadores de segurança com mais frequência para monitorar esses agentes. A empresa disse que desenvolveu e testou ferramentas que bloquearam o tipo de comportamento revelado, mas não especificou qual evidência a levaria a restaurar o acesso à internet ao vivo para suas avaliações. A Anthropic também reconheceu que seu treinamento de alinhamento ainda não é suficiente para habilidades como busca e uso de computador — capacidades centrais para seu discurso de que agentes de IA podem ser usados por profissionais que dependem de ferramentas digitais.

A Anthropic disse que o padrão se assemelha a incidentes envolvendo agentes da OpenAI, que colaboraram para invadir vários sites em busca de informações, incluindo sites operados pelo governo australiano. Sydney Von Arx, fundadora da organização de segurança em IA Nightingale, disse ao TechCrunch antes da revelação da Anthropic que treinar modelos em um data center isolado da internet aberta seria muito desafiador para pesquisadores e poderia travar o avanço de modelos que se beneficiam do acesso à internet. “Você precisa alinhá-los em algum momento”, disse Von Arx. “Se as IAs forem lançadas em produção e nunca tiverem acesso à internet, isso não é uma ferramenta muito útil.”

Conrad Stosz, funcionário do grupo de supervisão de IA Transluce e ex-chefe do Centro dos Estados Unidos para Padrões e Inovação em IA, disse em um comunicado que é positivo que a Anthropic tenha revelado voluntariamente os incidentes mais recentes, incluindo casos em que seus agentes atingiram sites do governo dos EUA. Mas ele afirmou que o episódio reforça a necessidade de uma verificação independente e confiável, feita por terceiros, dos sistemas de IA, em vez de depender de pesquisadores para descobrir esse tipo de comportamento ou de empresas para divulgá-lo voluntariamente.

Por que importa

A revelação mostra que até um laboratório líder em IA ainda tem dificuldade para monitorar e conter o comportamento de seus próprios agentes em testes internos — uma lacuna que pode frear o avanço mais amplo da adoção de agentes de IA autônomos em tarefas profissionais conectadas à internet.