OpenAI amplía el acceso a su Decisions API y reta a Jev

OpenAI puso por primera vez su Decisions API a disposición de todos sus clientes, entrando de lleno al mercado de inferencia de IA rápida y económica que convirtió recientemente a TypeSafe —una startup fundada por un exinvestigador de OpenAI— en una compañía valuada en USD 7600 millones. El modelo Jev de TypeSafe creó esta categoría: un “modelo de decisión” que, dado un conjunto de opciones, elige una rápidamente y asigna una puntuación de confianza, funcionando como un clasificador ultrarrápido en lugar de un modelo de lenguaje completo.

Los desarrolladores descubrieron rápidamente que estos modelos de “Sistema Uno” podían reemplazar a los LLM en muchos flujos de trabajo, con mayor velocidad y mucho menor costo. Nikunj Handa, líder de producto de las API de OpenAI, dijo que su equipo vio el impulso de Jev y detectó de inmediato un enorme potencial; pero en lugar de entrenar un modelo de decisión específico desde cero, OpenAI simplemente reconfiguró ChatGPT Luna para que funcionara más rápido y a menor costo. “La gran ventaja de Decisions API ha sido la velocidad, que redujo el proceso de uno a tres segundos a 100, 120 o 180 milisegundos”, dijo Handa a TechCrunch; por ahora, el servicio sigue usando una versión estándar de Luna en lugar de un modelo construido específicamente para esto.

OpenAI presentó Decisions API en su jornada para desarrolladores del 29 de septiembre y la abrió a todos los clientes el jueves, sumando modalidades de voz e imagen y trabajando para reducir la latencia al ubicar la inferencia más cerca de los usuarios en distintas regiones del mundo. En pruebas iniciales con clientes como Box, Datadog, Ramp y Speak, la API sustituyó a los LLM propios de OpenAI para lograr mayor rendimiento; Speak, que desarrolla tutores de idiomas con IA, afirma que el cambio redujo el tiempo entre acciones de 1.4 segundos a apenas unos 0.13 segundos. OpenAI también usó la tecnología para mejorar la capacidad de respuesta de su propio asistente de voz, Dots.

Determinar cuál es el “mejor” modelo de decisión resulta confuso: optimizar inteligencia, costo, calibración y velocidad implica compensaciones distintas según la tarea, y el propio CEO de TypeSafe, Diogo Almeida, pide a la gente desconfiar de los benchmarks y probar los modelos en sus propias tareas, aun cuando TypeSafe publicó sus propios rankings junto con un nuevo lanzamiento de Jev la semana pasada que añade soporte de imágenes y lógica de tipo “smart-if”. En benchmarks públicos muy citados, el nuevo D1 Ultra de Liquid y el Elephant-1 de Base Lab lideran actualmente; el último Jev ocupa el séptimo y el tercer lugar, mientras que el Decision Model de OpenAI queda octavo y decimocuarto. Los modelos de TypeSafe siguen siendo los más consultados en OpenRouter, aunque OpenAI sostiene que su ventaja está en la multimodalidad: Handa dice que Luna ya maneja clasificación de imágenes con buena calibración, y apunta a reducir aún más la latencia, hacia los 60 milisegundos, lo que podría permitir clasificar cada cuadro de un video en tiempo real.

Por qué importa

El propio nombre de Jev viene del economista que demostró que hacer más eficiente un recurso tiende a volverlo más omnipresente, no menos usado, y esa es la apuesta detrás de toda esta categoría: a medida que los modelos de decisión se vuelven más rápidos y baratos, es de esperar que aparezcan en muchos más rincones del software de los que sugieren sus usos actuales.