Provas matemáticas da OpenAI não atendem aos padrões dos matemáticos

Quando a OpenAI divulgou nesta semana centenas de supostas soluções para alguns dos problemas matemáticos mais difíceis do mundo, a empresa disse ter consultado um grupo consultivo de matemáticos de destaque para evitar o tipo de controvérsia que se seguiu a um caso anterior em que um de seus modelos resolveu um problema matemático de longa data. Mas a OpenAI não atendeu aos próprios padrões desse grupo, especialmente quanto a garantir que humanos realmente entendam os resultados — uma preocupação reforçada por um novo artigo que documenta lacunas entre as versões em linguagem natural e formal da solução para um problema matemático de um milhão de dólares que os modelos da OpenAI supostamente resolveram.

O Grupo Consultivo sobre Matemática e Inteligência Artificial (AGMAI), sediado no Instituto de Estudos Avançados da Universidade de Princeton e formado por nove pesquisadores de destaque de instituições do mundo todo, publicou diretrizes para laboratórios de IA de ponta que resolvem problemas matemáticos no final de setembro. Em resposta às mais recentes provas da OpenAI, a AGMAI disse que cabe, em última análise, à comunidade matemática avaliar o quanto suas recomendações foram seguidas, embora seu primeiro pedido tenha sido que os laboratórios parassem de testar problemas matemáticos avançados em modelos proprietários — e o comunicado da OpenAI afirma explicitamente que avaliou seus modelos proprietários usando problemas de pesquisa abertos.

A OpenAI seguiu alguns dos princípios da AGMAI, incluindo divulgar os resultados rapidamente e explicar como os modelos chegaram às suas conclusões, mas não todos. Apenas 10 dos 719 manuscritos que divulgou incluíram a cadeia de raciocínio do modelo, e apenas 42% das provas divulgadas haviam passado por formalização, como a AGMAI recomenda para qualquer prova que as pessoas não entendam. Ainda não está claro se a OpenAI está assumindo a responsabilidade de garantir que a compreensão humana venha depois, como exigem os princípios da AGMAI; o grupo sugeriu que a OpenAI ajude a financiar os matemáticos necessários para dar sentido às suas soluções.

“Os problemas estão sendo resolvidos de forma autônoma por quem escreve os comandos para a IA, que não têm interesse no campo mais amplo depois que seu objetivo inicial é ‘resolvido’, e não entendem o resultado da IA o suficiente para responder perguntas sobre ele, dar palestras ou interagir de outra forma com o resto do campo”, escreveu o matemático Terence Tao, crítico frequente da abordagem da OpenAI, em redes sociais após a divulgação.

Essa preocupação é reforçada por um artigo separado de matemáticos da Universidade de Cambridge e do King’s College London. Modelos de IA que resolvem um problema matemático normalmente produzem primeiro uma explicação em linguagem natural e depois tentam traduzi-la para Lean, uma linguagem de programação que, em teoria, verifica uma prova ao compilá-la como código. O artigo identifica pelo menos duas discrepâncias entre a prova em linguagem natural e o código Lean por trás da solução que a OpenAI ofereceu para um problema derivado das equações de Navier-Stokes, que descrevem o comportamento dos fluidos. As discrepâncias não necessariamente invalidam nenhuma das duas versões, observam os autores, mas levantam dúvidas sobre confiar que os modelos formalizem suas próprias provas sem revisão humana — uma lacuna que a AGMAI tentou fechar ao pedir aos laboratórios metadados que vinculem as provas em linguagem natural e formal, algo que a OpenAI não forneceu nessas divulgações.

Matemáticos dizem que, quando humanos descobrem novos resultados, eles assumem a responsabilidade por eles, interagindo com o campo por meio de artigos, palestras e seminários de maneiras que aprofundam a compreensão e abrem caminho para novas aplicações. A professora de matemática de Harvard Melanie Wood disse que, no momento em que esses resultados são divulgados, geralmente ainda não existe compreensão humana deles — o que significa que o trabalho real só começa depois.

Por que importa

O cumprimento incompleto da OpenAI com as diretrizes da AGMAI eleva a aposta para as próximas provas atribuídas à IA: o quanto a comunidade matemática examinar essas afirmações agora vai determinar se elas se tornam contribuições verificadas para o campo ou uma fonte recorrente de resultados não verificados e pouco compreendidos.