Nadella, da Microsoft, pede 'freio de emergência' para modelos de IA

O CEO da Microsoft, Satya Nadella, se juntou ao coro crescente de executivos de tecnologia que opinam sobre como melhorar a segurança da IA. Em uma publicação de sábado de manhã no X, ele disse que é hora de dar um passo atrás e reavaliar a arquitetura de confiança que sustenta os sistemas de IA.

Nadella escreveu que as empresas não podem tratar o que ele chamou de “Superinteligência” — termo preferido pelo governo Trump para se referir à IA avançada, em vez da linguagem mais comum do setor — como um conjunto de caixas-pretas aninhadas cujas recomendações, respostas e ações são simplesmente aceitas ou rejeitadas em bloco.

Em vez disso, ele propôs uma abordagem específica. Ela começa por separar o modelo subjacente do sistema que orquestra seu funcionamento, e por colocar os controles e as salvaguardas fora do próprio modelo, em vez de confiar que o modelo monitore seu próprio comportamento. Nadella também pediu que toda ação relevante do modelo seja registrada com evidências à prova de adulteração e legíveis por humanos, e que existam sistemas construídos de modo que uma pessoa autorizada possa sempre pausar ou desligar um modelo no meio de uma tarefa.

A premissa por trás da proposta de Nadella é a da desconfiança por padrão: um modelo deve ser tratado como potencialmente comprometido e contido desde o início. “Pensem nisso como um freio de emergência”, escreveu ele.

A publicação de Nadella chega em um momento em que as principais empresas de IA reconhecem cada vez mais incidentes nos quais, segundo parece, perderam o controle de seus próprios modelos, e pouco depois de o CEO da Anthropic, Dario Amodei, publicar um plano que pede um desenvolvimento mais cauteloso da IA.

Por que importa

Nadella é um dos executivos mais influentes da infraestrutura de IA, e seu apelo público por mecanismos obrigatórios de controle humano sinaliza que a contenção — não apenas a capacidade — está se tornando uma preocupação competitiva e de reputação para as maiores empresas do setor.