IA y modelos
Jev, el modelo de IA sin lenguaje de TypeSafe AI, está conquistando a los desarrolladores
TypeSafe AI lanzó un modelo sin lenguaje, Jev, que produce probabilidades en lugar de texto, y la demanda fue tan alta que perdió brevemente la capacidad de atender a los usuarios de su API.
Diogo Almeida, un investigador de OpenAI que ayudó a construir ChatGPT y a coinventar el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), dejó OpenAI hace dos años para fundar TypeSafe AI, con el objetivo de resolver lo que él considera una limitación fundamental: los modelos de lenguaje grandes (LLM) están optimizados para el lenguaje humano, que según él no es el lenguaje que realmente necesitan las computadoras para la automatización. Esta semana, TypeSafe lanzó un nuevo modelo basado en transformadores llamado Jev que no es un LLM: no genera texto, sino que produce probabilidades, a las que la empresa llama “decisiones calibradas”. Debido a que los usuarios definen los resultados de antemano, el modelo no puede alucinar, y sus tokens de salida son gratuitos, mientras que los tokens de entrada se facturan por miles de millones y no por millones. La demanda de Jev fue tan alta que la empresa perdió brevemente la capacidad de atender a los usuarios desde su API.
Jev parece ser más útil para la automatización de software. Pranit Sharma, ingeniero de software en Vercel, una empresa de infraestructura agéntica, dijo que después de que su empresa reemplazara ChatGPT Luna 5.6, de OpenAI, con Jev para ejecutar un clasificador de seguridad de comandos, obtuvo resultados de cinco a 18 veces más rápido y con mayor precisión. Nikhil Mudholkar, director de tecnología de Bryo AI, probó Jev frente a Gemini para clasificar correos empresariales; Gemini fue ligeramente más preciso, pero de 10 a 20 veces más costoso, y Mudholkar dijo que le interesaban más las puntuaciones de confianza de Jev, que entregan una probabilidad real útil para automatizar flujos de trabajo. Jev también puede complementar a los LLM al actuar como un control sobre su comportamiento —Almeida imagina a usuarios utilizándolo para rastrear las trazas de agentes de LLM y prevenir jailbreaks— y Armin Ronacher, director de tecnología de Earendil, dijo que podría hacer viable económicamente el enrutamiento de modelos en tiempo real, de una forma en que un enrutador basado en LLM no lo sería.
Almeida se muestra reservado sobre la arquitectura de Jev, que observadores externos sospechan que está construida sobre un LLM de peso abierto. La empresa describe a Jev como un “modelo de sistema uno” (System One) centrado en la intuición y no en el razonamiento, entrenado exclusivamente con datos sintéticos mediante una técnica que Almeida llama “aprendizaje por refuerzo a partir de decisiones calibradas”. Por ahora, Jev es el único modelo de este tipo, aunque Ronacher espera que surjan competidores ahora que su utilidad es evidente.
Por qué importa
Si modelos de probabilidad baratos y sin alucinaciones como Jev se popularizan para tareas de automatización y verificación de seguridad, podrían desviar una parte significativa del gasto empresarial en IA de los LLM de uso general hacia herramientas más específicas y mucho más económicas.