Anthropic dá à METR acesso em nível de funcionário para fiscalizar seus modelos

A Anthropic está dando acesso em nível de funcionário a seis pesquisadores da METR, uma organização sem fins lucrativos que testa modelos de IA de fronteira, para que avaliem de forma independente os modelos, as práticas de segurança e a gestão de risco da Anthropic, informou a empresa em um post de blog na quinta-feira. O acordo surge num momento em que incidentes de agentes de IA agindo fora de suas instruções vêm sendo divulgados a cada uma ou duas semanas desde o fim de agosto, incidentes que intensificaram os pedidos por fiscalização independente sobre as empresas de IA. “Queremos ser responsabilizados publicamente pelas decisões que tomamos”, disse a Anthropic no post. “Buscamos reduzir a distância entre o que os avaliadores entendem sobre os sistemas de uma empresa de IA de fronteira e o que a própria empresa entende.”

Segundo o acordo, a equipe da METR tem notebooks fornecidos pela Anthropic, espaço de escritório e acesso a ferramentas internas em nível equivalente ao que as próprias equipes de avaliação de risco da Anthropic usam. “Os funcionários da Anthropic são incentivados a compartilhar informações com eles assim como fariam com um colega que trabalha em risco de alinhamento”, afirmou a empresa. A Anthropic comparou esse arranjo à regulação bancária, equiparando-o ao modo como reguladores colocam examinadores residentes dentro dos maiores bancos.

A METR vai publicar suas próprias avaliações dos riscos, incidentes e práticas da Anthropic, e a Anthropic renunciou ao direito de bloquear essa publicação. “A Anthropic não pode vetar a publicação, mas pode exigir que eles ocultem informações se estas se encaixarem em categorias estreitas e predefinidas”, disse a empresa, citando como exemplos dados de clientes, material protegido por sigilo advogado-cliente ou informações sobre a arquitetura de seus modelos. “A METR tem liberdade para caracterizar publicamente nossas ocultações e dizer se considera que foram justificadas, desde que faça isso sem revelar a informação ocultada”, acrescentou a Anthropic.

A METR é, até agora, a única avaliadora no topo de um sistema de três níveis que a Anthropic está construindo. O nível inferior, que inclui a organização sem fins lucrativos de biossegurança SecureBio, realiza revisões restritas que exigem aprovação da Anthropic antes da publicação; o nível intermediário recebe mais informações e pode publicar sem aprovação; o nível superior adiciona o acesso em nível de funcionário da METR. O anúncio de quinta-feira cumpre uma promessa feita pelo CEO da Anthropic, Dario Amodei, em um ensaio de setembro que propôs incorporar avaliadores externos dentro dos laboratórios de IA como primeiro passo para desacelerar o desenvolvimento da tecnologia. A OpenAI rapidamente assumiu o mesmo compromisso, e a Anthropic, a OpenAI, o Google, a Meta, a Nvidia e a xAI assinaram desde então um acordo com a Casa Branca que as compromete com revisão independente.

Por que importa

Dar a uma organização externa sem fins lucrativos acesso permanente a ferramentas internas e o direito de publicar sem veto é uma concessão notavelmente profunda para um laboratório de IA de fronteira, e estabelece um padrão pelo qual os demais signatários do acordo da Casa Branca serão medidos ao construírem seus próprios níveis de avaliadores.