IA e modelos
Modelos de decisão se tornam mainstream, do Azure a uma startup de duas pessoas
Mais de uma em cada quatro solicitações de IA no roteador da Vercel foram para modelos de decisão, não modelos de linguagem completos, em outubro.
Modelos de decisão são modelos de linguagem grandes ajustados para pular a geração de texto e, em vez disso, escolher rápida e barata entre um conjunto de opções pré-definidas, informando também o quão confiantes estão nessa escolha — algo útil em sistemas de produção, nos quais a velocidade importa mais do que a profundidade de raciocínio que um modelo de fronteira ofereceria. A TypeSafe, hoje avaliada em US$ 7,5 bilhões após lançar sua família de modelos de decisão Jev, continua dominando a categoria: segundo números da própria OpenRouter, os modelos da TypeSafe atenderam a mais de 1,5 bilhão de consultas só na semana passada.
Como um modelo de decisão é relativamente simples de construir, a categoria se multiplicou rapidamente desde o lançamento do Jev: dezenas foram lançados em sua esteira, um engenheiro da Amazon construiu um em um fim de semana, e logo toda grande provedora de nuvem tinha o seu próprio. Na terça-feira, o CEO da Microsoft, Satya Nadella, disse que a empresa está lançando sua versão, Microsoft-Decision-1.1, para uso amplo no Azure imediatamente. No mesmo dia, a startup britânica Sqwish anunciou uma rodada pré-seed de US$ 3 milhões para seu modelo de decisão, “kettei fat”. Os cofundadores Ushnish Sengupta e Federica Freddi, que se conheceram como estudantes de pós-graduação em Cambridge, dizem que estavam desenvolvendo modelos de linguagem pequenos quando o Jev surgiu, e perceberam que sua arquitetura podia ser reaproveitada para a mesma função.
Quem constrói esses modelos descreve os dados, não as pontuações brutas em benchmarks, como o verdadeiro diferencial. O CEO da TypeSafe, Diogo Almeida, disse que a parte mais difícil de construir o Jev foi calibrar seu julgamento com dados sintéticos cuidadosamente ajustados; a Sqwish também trabalha com dados sintéticos, mas aposta em ferramentas que permitem que seus clientes continuem alimentando dados de produção próprios para que o modelo continue melhorando depois de implantado. Achint Srivastava, o vice-presidente de engenharia da Microsoft que liderou o projeto Decision-1.1, concordou, afirmando que modelos ajustados em excesso a benchmarks publicados tendem a ter desempenho ruim no uso corporativo real, e disse que o Decision-1.1 e o Jev se destacam por se manterem sólidos em custo, latência, inteligência e calibração, mesmo em testes que as empresas não usaram para treiná-los.
Freddi descreve o momento como uma divisão inicial entre modelos de decisão rápidos, de “Sistema 1”, e modelos de linguagem mais lentos e capazes, de “Sistema 2”, funcionando em conjunto. “Mesmo nesse futuro, o Sistema 1 talvez seja uma oportunidade de US$ 10 bilhões a US$ 50 bilhões, e a OpenAI está fazendo esse IPO pensando em um valor de mercado de US$ 1 trilhão a US$ 2 trilhões”, disse ela. “Isso é tudo que nos importa; para eles, isso é só um projeto paralelo.”
Por que importa
Uma categoria inventada pouco mais de um mês antes desta reportagem já está direcionando mais de um quarto do tráfego de uma grande plataforma, com uma gigante de tecnologia e uma startup de duas pessoas se movendo no mesmo dia — um sinal de que a tomada de decisão rápida e barata pode se tornar uma camada tão padrão da infraestrutura de IA quanto os modelos de fronteira que recebem toda a atenção.