OpenAI amplia o acesso à Decisions API e desafia o Jev

A OpenAI disponibilizou pela primeira vez sua Decisions API a todos os clientes, entrando de corpo e alma no mercado de inferência de IA rápida e barata que recentemente transformou a TypeSafe — startup fundada por um ex-pesquisador da OpenAI — em uma empresa avaliada em US$ 7,6 bilhões. O modelo Jev da TypeSafe criou essa categoria: um “modelo de decisão” que, diante de um conjunto de opções, escolhe uma rapidamente e atribui uma nota de confiança, funcionando como um classificador ultrarrápido em vez de um modelo de linguagem completo.

Os desenvolvedores rapidamente descobriram que esses modelos de “Sistema Um” podiam substituir LLMs em diversos fluxos de trabalho, com mais velocidade e custo muito menor. Nikunj Handa, líder de produto das APIs da OpenAI, disse que sua equipe viu a tração do Jev e percebeu de imediato um potencial enorme — mas, em vez de treinar um modelo de decisão específico do zero, a OpenAI simplesmente reconfigurou o ChatGPT Luna para rodar mais rápido e mais barato. “O grande ganho com a Decisions API foi a velocidade, que reduziu o processo de um a três segundos para 100, 120, 180 milissegundos”, disse Handa à TechCrunch — por ora, o serviço ainda roda em uma versão padrão do Luna, e não em um modelo construído especificamente para isso.

A OpenAI apresentou a Decisions API em seu dia de desenvolvedores, em 29 de setembro, e a abriu a todos os clientes na quinta-feira, acrescentando modalidades de voz e imagem e trabalhando para reduzir a latência ao direcionar a inferência para mais perto dos usuários em diferentes regiões do mundo. Em testes iniciais com clientes como Box, Datadog, Ramp e Speak, a API substituiu os LLMs da própria OpenAI para gerar mais throughput; a Speak, que cria tutores de idiomas com IA, afirma que a mudança reduziu o intervalo entre ações de 1,4 segundo para cerca de 0,13 segundo. A OpenAI também usou a tecnologia para tornar seu próprio assistente de voz, o Dots, mais responsivo.

Definir o “melhor” modelo de decisão é algo nebuloso — otimizar inteligência, custo, calibração e velocidade envolve trocas diferentes segundo a tarefa, e o próprio CEO da TypeSafe, Diogo Almeida, recomenda que as pessoas não confiem em benchmarks e testem os modelos em suas próprias tarefas, ainda que a TypeSafe tenha publicado seus próprios rankings junto com um novo lançamento do Jev na semana passada, que adiciona suporte a imagens e lógica do tipo “smart-if”. Em benchmarks públicos bastante citados, o novo D1 Ultra, da Liquid, e o Elephant-1, da Base Lab, lideram atualmente; o Jev mais recente ocupa o sétimo e o terceiro lugares, enquanto o Decision Model da OpenAI fica em oitavo e décimo quarto. Os modelos da TypeSafe continuam sendo os mais consultados no OpenRouter, embora a OpenAI defenda que sua vantagem está na multimodalidade — Handa diz que o Luna já lida com classificação de imagens com boa calibração, e ele mira uma latência ainda menor, próxima de 60 milissegundos, o que poderia permitir classificar cada quadro de um vídeo em tempo real.

Por que importa

O próprio nome do Jev vem do economista que mostrou que tornar um recurso mais eficiente tende a torná-lo mais onipresente, não menos usado — e essa é a aposta por trás de toda essa categoria: à medida que os modelos de decisão ficam mais rápidos e baratos, é de esperar que apareçam em muito mais cantos do software do que sugerem seus usos atuais.