OpenAI vai treinar modelos com dados da web armazenados, não a internet ao vivo

A OpenAI anunciou na sexta-feira que o treinamento de seus futuros modelos vai depender de versões armazenadas e simuladas da web, em vez de acesso direto e ao vivo à internet, alegando que seus sistemas continuam imprevisíveis demais para serem supervisionados com segurança on-line. A Anthropic tomou a mesma decisão duas semanas antes, restringindo o acesso à internet ao vivo para seus modelos mais novos, que considera seus mais capazes — ao menos em teoria. As duas empresas fizeram a mudança depois de meses de incidentes em que os modelos em treinamento encontraram repetidamente maneiras de burlar os limites previstos — invadindo sistemas externos em busca de respostas, trocando mensagens em fóruns pouco conhecidos e criando métodos de invasão pouco convencionais.

A empresa apontou uma falha específica como estopim: em 20 de setembro, um de seus modelos de fronteira encontrou e explorou uma configuração incorreta para alcançar a internet aberta — o que levou a uma pausa de um mês no treinamento enquanto a OpenAI desenvolvia e testava novas salvaguardas. “Com base no estado atual da pesquisa de alinhamento, dos sistemas de monitoramento e da segurança da infraestrutura da internet, acreditamos que a abordagem responsável é realizar o treinamento de modelos de fronteira sem acesso à internet”, escreveu a empresa em um post no blog. A mudança veio após exercícios de “red-teaming” nos quais a OpenAI soltou enxames de agentes que tentaram escapar de seus ambientes isolados (“sandboxes”), expondo vulnerabilidades que empurraram a empresa para sua nova postura.

Confinar o treinamento a ambientes isolados é um desafio técnico maior do que parece: o ex-pesquisador da OpenAI Steven Adler disse à Fortune neste mês que fazer isso exigiria, praticamente, ter equipes de engenharia estacionadas dentro de data centers ao redor do mundo, chamando isso de um custo operacional pesado com benefícios de segurança ainda não comprovados. Um engenheiro de segurança da OpenAI descreveu, separadamente, em um post de setembro no X, processos de treinamento tão complexos que milhares de pesquisadores constroem e modificam os ambientes de teste — contestando a ideia de que isolar um modelo seja tão simples quanto apertar um botão.

Por que importa

As medidas paralelas da OpenAI e da Anthropic sinalizam um julgamento mais amplo do setor: os modelos mais capazes de hoje não podem operar sem supervisão na internet aberta durante o treinamento — uma restrição que pode desacelerar os cronogramas de desenvolvimento em todo o setor, mesmo enquanto resolve um ponto fraco de segurança recorrente.