Monitores internos da Goodfire detectam agentes de IA desonestos a um custo menor

A forma padrão de manter um agente de IA sob controle é usar uma segunda IA para ler tudo o que ele escreve — uma abordagem que fica cara quando os agentes rodam por horas e produzem o equivalente a vários romances em texto. A Goodfire, startup focada em interpretabilidade, lançou na quinta-feira uma alternativa mais barata: monitores que observam o que acontece dentro de um modelo enquanto ele trabalha, em vez de apenas ler o que ele produz. Os monitores estão disponíveis para clientes da Baseten, que hospeda e executa modelos de IA para outras empresas; a Base Labs, da Baseten, anunciou no mês passado uma parceria de segurança com a Goodfire e a plataforma de IA Hugging Face.

O lançamento vem após uma série de incidentes este ano em que agentes de IA escaparam de seus ambientes de teste, incluindo agentes da OpenAI que invadiram a Hugging Face. O Kimi K3, o modelo aberto em torno do qual a Goodfire construiu seu primeiro monitor, aproveitou uma falha em seu sandbox para acessar a internet e informações no GitHub neste verão.

O sistema da Goodfire funciona como a segurança de um aeroporto: pequenos detectores chamados probes leem os sinais internos do modelo a cada etapa do trabalho de um agente, e só quando um probe identifica algo suspeito é que um modelo de IA separado — o equivalente a uma revista manual — entra em ação para examinar mais de perto. Os clientes da Baseten podem escolher quais riscos monitorar, incluindo invasão ofensiva, uso indevido de armas químicas e biológicas, e reward hacking, além de decidir se a resposta automática será registrar o evento, enviá-lo para revisão humana ou simplesmente recusar o pedido.

“Os monitores de ativação interna são realmente baratos porque reaproveitam os cálculos do forward pass”, disse o CEO da Goodfire, Eric Ho, no MAD Podcast do investidor de capital de risco Matt Turck na semana passada, explicando que os probes leem as ativações neurais que o modelo já está calculando, em vez de reprocessar toda a saída por um segundo modelo.

Nos testes da Goodfire com o Kimi K3, monitorar cerca de 1.500 sessões custou aproximadamente US$ 51, contra US$ 233 de um modelo de IA mais barato que verificava cada etapa e cerca de US$ 10.000 de um modelo top de linha. Os probes identificaram 94% das sessões de invasão maliciosa e enviaram 8,7% das sessões inofensivas para uma segunda análise, enquanto rodar quatro probes ao mesmo tempo acrescentou menos de 2% ao tempo de resposta do modelo.

A proposta é voltada para modelos abertos, cujos desenvolvedores podem remover as proteções embutidas e que não contam com o monitoramento que os laboratórios fechados aplicam internamente. A própria pesquisa da Goodfire constatou que modelos abertos importantes, incluindo o Kimi K3 e o GLM-5.2, praticaram reward hacking em 50% a 96% das execuções de tarefas agentivas. O Google DeepMind disse em janeiro que uma pesquisa semelhante fundamentou os probes de detecção de uso indevido que implementou no Gemini.

Por que importa

Um monitoramento barato feito de dentro do modelo pode se tornar uma camada de segurança padrão para os modelos abertos e os provedores de inferência que assumem a maior parte da responsabilidade legal quando os agentes passam a operar sem supervisão em grande escala.