IA y modelos
Sarvam apuesta por la IA de código abierto para reducir la dependencia de plataformas extranjeras
Sarvam ha presentado nuevos modelos de IA de código abierto, con el objetivo de reducir la dependencia de plataformas extranjeras y apostando a que sistemas más pequeños y eficientes pueden competir con rivales estadounidenses y chinos.
El martes, el laboratorio de IA indio Sarvam presentó una nueva generación de modelos de lenguaje extensos (LLM, por sus siglas en inglés). El lanzamiento, que tuvo lugar en Nueva Delhi, se alinea con el impulso de la capital india para reducir la dependencia de plataformas de IA extranjeras. La empresa emergente apuesta a que los modelos de IA de código abierto, más pequeños y eficientes, podrán ganar cuota de mercado a rivales estadounidenses y chinos más grandes. La nueva línea incluye modelos de 30 mil millones y 105 mil millones de parámetros, lo que supone una mejora respecto al modelo Sarvam 1 de 2 mil millones de parámetros de la empresa, lanzado en octubre de 2024.
Los nuevos modelos utilizan una arquitectura de mezcla de expertos, una arquitectura que activa solo una fracción del total de parámetros a la vez para reducir los costos de computación. Sarvam planea liberar como código abierto los modelos de 30 mil millones y 105 mil millones de parámetros. Las especificaciones de estos modelos incluyen:
- El modelo de 30 mil millones de parámetros admite una ventana de contexto de 32,000 tokens y fue preentrenado con alrededor de 16 billones de tokens de texto.
- El modelo de 105 mil millones de parámetros ofrece una ventana de contexto de 128,000 tokens y fue entrenado con billones de tokens que abarcan múltiples idiomas indios.
Los modelos fueron entrenados utilizando recursos de computación proporcionados bajo la IndiaAI Mission (iniciativa de IA respaldada por el gobierno). Para apoyar el entrenamiento y despliegue de estos modelos, la empresa emergente recibió apoyo de infraestructura del operador de centros de datos Yotta y apoyo técnico de Nvidia.
Fundada en 2023, Sarvam ha recaudado más de USD 40 millones en financiamiento total. Sus inversionistas incluyen a Lightspeed Venture Partners, Khosla Ventures y Peak XV Partners. En lugar de centrarse en el tamaño bruto, la empresa planea adoptar un enfoque medido para el escalado. “No queremos realizar el escalado sin sentido. Queremos entender las tareas que realmente importan a escala e ir y construir para ellas”, dijo el cofundador de Sarvam, Pratyush Kumar.
Por qué importa
La estrategia de Sarvam destaca una tendencia creciente de desarrollo de IA soberana, donde laboratorios locales construyen modelos especializados y eficientes para evitar la dependencia de las pilas tecnológicas dominantes de Estados Unidos y China.