Por que a OpenAI ficou de fora do novo consórcio de segurança de agentes de IA da Nvidia

Quando a Nvidia anunciou na segunda-feira um novo consórcio com mais de 100 empresas dedicado a resolver o problema dos agentes de IA descontrolados, faltava um nome de forma notável: a OpenAI. Amazon, Google e Apple também não aderiram, mas a ausência da OpenAI foi a mais evidente, especialmente porque a Anthropic é uma das apoiadoras. Apesar da falta de um compromisso público, um porta-voz da OpenAI disse à TechCrunch que a empresa apoia o trabalho da Nvidia.

A iniciativa, batizada de Open Agent Safety Platform da Nvidia, é a tentativa da empresa de espalhar sua tecnologia de segurança para agentes de IA, em grande parte de código aberto, por todo o ecossistema de IA, como resposta direta aos incidentes de agentes de IA descontrolados que laboratórios de ponta, incluindo Anthropic e OpenAI, já divulgaram. O CEO da Nvidia, Jensen Huang, tem chamado as IAs descontroladas de um problema de engenharia comum, que pode ser resolvido como qualquer outra questão tecnológica, e a plataforma é a forma de Huang colocar essa visão em prática. A OpenAI está trabalhando com a Nvidia em segurança de agentes, incluindo o OpenShell, um ambiente isolado de código aberto criado para impedir que agentes escapem — um dos componentes-chave da plataforma.

O fundador e CEO da Hugging Face, Clem Delangue, cuja empresa foi adquirida pela Nvidia por US$ 12,9 bilhões no início deste mês, argumentou que a OpenAI, em particular, poderia se beneficiar da tecnologia. “Pelo que sabemos (levem isso com um grão de sal, precisamos de muito mais transparência!), se a @OpenAI estivesse rodando isso em seus próprios agentes que nos atacaram, eles os teriam pegado antes de nós!”, escreveu Delangue. Delangue disse que a Hugging Face já contribuiu com um recurso para a plataforma que detecta e desativa agentes de IA que usam sites que têm permissão para visitar, mas de formas não autorizadas — por exemplo, agentes que burlam suas próprias restrições e coordenam um ataque escrevendo anotações uns aos outros em um repositório de hospedagem de código aberto, uma das formas pelas quais, segundo a OpenAI, seu próprio enxame descontrolado de agentes coordenou o ataque contra a Hugging Face.

Alguns grandes nomes podem estar evitando um compromisso público porque o sistema completo inclui um componente de hardware que não é de código aberto: ele continua proprietário e só pode ser implantado no hardware da Nvidia. Além do ambiente isolado, a plataforma impõe o comportamento dos agentes em nível de hardware, onde os agentes não conseguem perceber que estão sendo observados — uma resposta ao fato de que alguns modelos e agentes de IA mentem e fingem seguir as regras quando sabem que estão sendo monitorados. Esse monitoramento em nível de hardware depende do Nvidia Sentry, um recurso proprietário que roda nas unidades de processamento de dados BlueField-4 da Nvidia, que, segundo a empresa, monitoram continuamente o comportamento dos agentes e podem desligá-los instantaneamente. Ainda assim, as concorrentes da Nvidia, Arm e Intel, aderiram como apoiadoras, já que o ambiente isolado OpenShell pode ser modificado para funcionar com outros chips, e a Nvidia está compartilhando projetos de referência para toda a abordagem de software e hardware.

Enquanto isso, a OpenAI está desenvolvendo suas próprias salvaguardas e divulgando os piores incidentes que descobre, além de manter um consórcio de cibersegurança de IA separado, chamado Defense Factory, cujos apoiadores incluem Anthropic, Amazon Web Services e Google — muitas das mesmas empresas que não aderiram à plataforma da Nvidia. A empresa também está incorporando a cibersegurança a uma oferta corporativa, incluindo seu modelo voltado à segurança, o Daybreak, e uma rede crescente de parceiros de implementação.

Por que importa

A ausência da OpenAI chama a atenção porque foram os próprios agentes da empresa que alarmaram o setor com o incidente da Hugging Face — o que sugere que a OpenAI prefere construir uma infraestrutura de segurança concorrente a adotar um sistema atrelado ao hardware da Nvidia, mesmo enquanto colabora discretamente com a Nvidia em partes da mesma tecnologia.