PrismML lleva su pequeño LLM Bonsai a lentes inteligentes con chips Qualcomm

PrismML, un laboratorio de IA fundado por investigadores de Caltech y asesorado por Ion Stoica, de UC Berkeley, construyó una versión de sus modelos de lenguaje pequeños para lentes inteligentes que funcionan con chips Snapdragon de Qualcomm. Qualcomm presentó el modelo, el LLM Bonsai de 1 bit de PrismML, en su Snapdragon Summit el miércoles; puede ejecutarse localmente en lentes inteligentes con IA construidos sobre la plataforma Snapdragon AR1 Gen 1.

Como TechCrunch reportó anteriormente, la seña de identidad de PrismML es reducir modelos más grandes de forma sustancial —en este caso, 4 veces— mientras conserva casi todo su desempeño en pruebas estándar. La versión para lentes inteligentes es un modelo de 2000 millones de parámetros ajustado para visión y lenguaje, lo que permite a quien los usa preguntar qué está viendo en tiempo real.

El objetivo más amplio de Prism es lograr IA de peso abierto que funcione en el propio dispositivo y aproveche mejor la capacidad de cómputo que este ya tiene, algo que la startup presenta como una alternativa a depender de las promesas de privacidad de los laboratorios de IA propietarios y de su necesidad creciente de más cómputo. Lanzar un modelo para el chip de Qualcomm es un paso hacia esa visión, aunque todavía no se han anunciado lentes inteligentes que usen PrismML.

Por qué importa

Reducir modelos capaces para que funcionen por completo en el dispositivo, en lugar de enviar las consultas a la nube, es la diferencia entre lentes inteligentes que necesitan una conexión de datos constante y unos que funcionan —y mantienen los datos localmente— en cualquier lugar.