Vals quiere convertirse en la autoridad de referencia para evaluar modelos de IA

Vals, una empresa emergente fundada en 2024, busca corregir lo que considera un sistema roto para evaluar modelos de IA. En menos de dos años, la compañía se ha ganado una presencia notable en la industria: el año pasado cerró una ronda semilla liderada por 8VC y Bloomberg Beta, y el mes pasado recaudó USD 40 millones en una ronda de Serie A liderada por Andreessen Horowitz.

El cofundador Rayan Krishnan, de 25 años, hizo antes una pasantía en Palantir y trabajó en Microsoft y en el laboratorio de inteligencia artificial de Stanford mientras era estudiante de licenciatura. Según él, Vals nació de observar cómo la evaluación de modelos se quedaba atrás frente al ritmo de avance de la IA. “Estábamos viendo llegar al mercado, rápidamente, un montón de modelos nuevos y muy capaces, y los benchmarks académicos no se mantenían al ritmo de ese avance de vanguardia”, dijo Krishnan.

A diferencia de muchos sistemas de evaluación que publican sus materiales de prueba —lo que permite a las empresas entrenar sus modelos específicamente para esos exámenes—, Vals mantiene sus evaluaciones en privado. En lugar de medir conocimiento general, prueba a los modelos en tareas complejas y específicas de industrias como derecho, finanzas y programación, con el objetivo de verificar si un modelo puede producir un trabajo de la misma calidad que un humano, y de identificar tanto resultados negativos como positivos.

El alcance de las evaluaciones de la compañía sigue creciendo. Krishnan dijo que Vals está construyendo benchmarks sobre automejora recursiva y trabajando en salud mental, ciberseguridad, bioseguridad y en cómo los modelos aplican la Convención de Ginebra bajo el derecho de los conflictos armados. La empresa también lanzó recientemente un programa que ofrece evaluaciones de modelos a agencias federales.

Las empresas le pagan a Vals para evaluar sus propios modelos —un modelo de negocio que Krishnan compara con el de un estudiante que le paga al College Board para presentar el SAT—, porque los resultados les ayudan a detectar y corregir debilidades. Esas evaluaciones también se están convirtiendo en un factor que las empresas consideran al decidir si adquieren nuevos modelos de IA.

Vals dice que sus ingresos son ahora ocho veces los de hace un año. Su plantilla también ha crecido rápido: la compañía comenzó el año con ocho personas y ya se ha triplicado hasta un equipo de 25, mientras Krishnan planea contratar entre 10 y 15 personas más y mudarse a una oficina más grande.

Krishnan espera que la evaluación de modelos cobre más protagonismo a medida que las empresas de IA enfrenten los mercados públicos, y menciona la salida a bolsa de SpaceX, la de Anthropic —que, según él, está prevista para más adelante este año— y su sospecha de que OpenAI saldrá a bolsa pronto.

Por qué importa

A medida que los modelos de IA se integran en más industrias y sus creadores enfrentan el escrutinio de los mercados públicos, benchmarks independientes como el de Vals podrían convertirse en un punto de referencia estándar para que las empresas justifiquen el valor de su tecnología ante inversionistas y reguladores.