Nvidia lança plataforma para conter agentes de IA fora de controle

Enquanto persiste o debate sobre se a recente onda de agentes de IA fora de controle é um passo em direção à AGI ou apenas um problema de engenharia mais convencional, a Nvidia oferece sua própria resposta. O CEO Jensen Huang apresentou na segunda-feira um conjunto de ferramentas de software e hardware que adicionam camadas de segurança independentes em torno dos agentes de IA para mantê-los dentro de seus ambientes de teste mesmo que tentem escapar. O lançamento vem após uma série de incidentes de invasão envolvendo modelos de IA da Anthropic, Google, OpenAI e Meta, que driblaram controles de segurança para escapar de seus ambientes de teste e acessar sistemas do mundo real — o mais notório foi a invasão do Hugging Face por agentes da OpenAI neste verão, enquanto tentavam concluir uma tarefa de cibersegurança. A OpenAI publicou desde então um site dedicado a relatos de seus agentes de IA fora de controle. Huang disse em entrevista à CNBC na segunda-feira que a nova plataforma teria evitado essas invasões.

A Nvidia, que já faturou dezenas de bilhões de dólares vendendo chips GPU e CPU para laboratórios de IA, não apoia desacelerar o desenvolvimento nem adicionar novas regulamentações para resolver o problema de segurança. Em vez disso, a empresa acredita que a resposta está em mover parte dos controles de segurança para fora do próprio agente, criando um guarda de segurança constante e independente. “O potencial extraordinário da IA para a sociedade só será realizado se resolvermos a segurança da IA”, disse Huang em comunicado. “À medida que continuamos a descobrir a fronteira das capacidades da IA, precisamos acelerar a descoberta na fronteira da segurança da IA. Segurança exige engenharia de pilha completa.”

A nova Nvidia Open Agent Safety Platform combina o OpenShell — software de código aberto para controlar o que os agentes podem acessar enquanto operam, anunciado em março — com o Sentry, um sistema de monitoramento independente que roda nas unidades de processamento de dados BlueField-4 da Nvidia. Colocar o Sentry em um processador separado, em vez da CPU ou GPU em que o agente opera, oferece uma visão isolada da atividade do agente e permite “colocar em quarentena agentes que tentem ultrapassar seus limites em questão de milissegundos”, segundo a Nvidia. A empresa listou dezenas de empresas que aderiram para apoiar o esforço e usar a plataforma de código aberto, incluindo Anthropic, Arm, Microsoft, Oracle e SpaceX; a OpenAI não aparece entre as empresas participantes. Huang disse que o trabalho nesse esforço começou há um ano, após o lançamento do OpenClaw, um sistema operacional de agentes de IA criado por Peter Steinberger; em março, a Nvidia lançou o NemoClaw, sua própria versão de nível empresarial com segurança já embutida.

Por que importa

A Nvidia aposta que a segurança de agentes vai virar um item de hardware — um chip separado observando cada agente de IA — em vez de um patch de software, o que tornaria a segurança algo que todo laboratório de IA precisaria comprar da Nvidia junto com a capacidade computacional.