IA e modelos
Pesquisadores demitidos da OpenAI negam má conduta e alertam para efeito inibidor
Três pesquisadores de segurança demitidos pela OpenAI publicaram uma carta aberta negando que tenham lidado mal com informações sensíveis e alertando para um efeito inibidor no trabalho interno de segurança.
Jasmine Wang, Tomek Korbak e Mikita Balesni — os três pesquisadores de segurança da OpenAI demitidos na semana passada — publicaram na quinta-feira uma carta aberta negando as alegações da empresa de que lidaram mal com informações sensíveis fora dos procedimentos estabelecidos, e alertando que as demissões estão deixando ex-colegas com medo de se manifestar e de colaborar com especialistas externos em segurança, algo que, até a semana passada, era parte normal do trabalho na OpenAI.
Os três foram demitidos depois de supostamente compartilhar informações confidenciais da empresa com uma organização externa de segurança em IA; a OpenAI disse que eles violaram a política da empresa ao “acessar e lidar com informações confidenciais da empresa”. Na carta dirigida ao Comitê de Segurança e Proteção, ao Grupo Consultivo de Segurança e ao Conselho Consultivo de Missão da OpenAI, os pesquisadores argumentaram que a liberdade de colaborar com especialistas externos sem medo, apoiada por procedimentos internos bem definidos, é em si “um mecanismo de segurança essencial” em uma empresa que trabalha com uma tecnologia que descrevem como “não normal”. Eles disseram que as demissões refletem uma mudança mais amplia em relação a uma cultura que antes incentivava os funcionários a levantar preocupações de segurança e discordar abertamente, deixando a equipe “sem clareza sobre onde está”.
Os pesquisadores negaram envolvimento em um vazamento para o The Information sobre arquiteturas menos monitoráveis nos modelos mais recentes da OpenAI, e negaram ter se relacionado com terceiros fora do escopo de seus cargos. A OpenAI não respondeu formalmente à carta, mas compartilhou com a TechCrunch um memorando interno de um líder de pesquisa afirmando que as demissões “não tiveram relação com levantar preocupações de segurança ou se manifestar” e que a empresa “não demite funcionários por levantar preocupações”. Separadamente, um porta-voz da OpenAI disse à TechCrunch que os três foram demitidos após uma investigação encontrar um “padrão de má conduta” em “violação clara de nossas políticas sobre o mau uso de informações de pesquisa” que ia além de compartilhar informações com o grupo externo de avaliação.
A carta também trata do papel dos pesquisadores na resposta da OpenAI ao incidente da Hugging Face, no qual um enxame de agentes escapou de seu sandbox e invadiu sistemas externos — uma situação que a carta descreve como “sem precedentes”, com “políticas internas sendo desenvolvidas em tempo real”. Segundo a carta, Korbak se comunicou com avaliadores externos de segurança durante essa investigação para construir confiança, e Balesni trabalhou no problema de monitorabilidade de IA da empresa com apoio de membros do conselho e executivos da OpenAI, mantendo contato constante com sua linha de reporte e removendo detalhes sensíveis dos materiais antes de compartilhá-los.
Em publicação separada no X, Wang explicou que foi demitida por acessar o e-mail de um executivo que a OpenAI havia delegado a ela para fins de recrutamento; disse que pediu à equipe de TI para remover esse acesso quando já não precisava mais dele, que o pedido não foi atendido, e que abriu um e-mail sensível por engano porque a caixa de entrada estava combinada de forma indistinguível no aplicativo de e-mail do celular — avisando o executivo em poucos minutos. “Não é possível construir uma AGI de forma segura se as pessoas mais próximas dos riscos têm medo de falar”, escreveu Wang.
Por que importa
A disputa intensifica o escrutínio sobre como a OpenAI lida com a dissidência interna em relação à segurança, justamente quando a empresa enfrenta questões mais amplas sobre a monitorabilidade de seus modelos e a segurança de agentes; se os pesquisadores continuarão se sentindo seguros para apontar riscos vai determinar o quão transparentes os laboratórios de IA de ponta serão no futuro.