IA y modelos
PrismML reduce modelos de razonamiento para que quepan en teléfonos y PC
PrismML lanzó Bonsai 2 27B, una versión comprimida del modelo Qwen3.8 27B de Alibaba que iguala el 98% de su rendimiento en benchmarks con un tamaño de 5.9 GB.
PrismML, un laboratorio de IA fundado por un grupo de investigadores de Caltech, lanzó el jueves Bonsai 2 27B, el más reciente de una familia de modelos creada para demostrar que los modelos de lenguaje grandes (LLM) de razonamiento capaces y de alto rendimiento no tienen por qué ser grandes. El modelo comprime Qwen3.8 27B, un modelo de código abierto ampliamente usado de Alibaba, hasta 5.9 GB —lo suficientemente pequeño para caber en una PC y, posiblemente, en un teléfono inteligente de alta gama—, lo que representa una reducción de memoria de 9 a 10 veces respecto al original.
La empresa emergente está dirigida por el director ejecutivo Babak Hassibi, profesor de Caltech y experto en tecnologías de compresión, y cuenta con Ion Stoica, cofundador de Databricks y director del Sky Computing Lab de Berkeley, como asesor. PrismML ha recaudado hasta ahora solo una ronda semilla de USD 22,25 millones y cuenta con el respaldo de Khosla Ventures, Cerberus Capital y Caltech. Según se rumora, está en conversaciones con Apple, aunque Hassibi declinó hacer comentarios al respecto a TechCrunch.
Hassibi afirma que Bonsai 2 iguala el 98% de las puntuaciones agregadas de referencia (benchmark) de Qwen, frente al 95% que alcanzaba el primer Bonsai, lanzado en marzo. Ese primer modelo ya ha sido descargado más de 11 millones de veces, y los modelos más pequeños de PrismML han sumado otras 2,6 millones de descargas, según la empresa. PrismML no es la única compañía que persigue la compresión de LLM: Multiverse Computing, fundada por un profesor del Centro de Física Internacional Donostia de España, es otra, y ha recaudado mucho más financiamiento.
La técnica de compresión, que PrismML llama pesos “ternarios”, reduce cada peso de un modelo de los habituales 16 bits a solo tres valores posibles —+1, −1 o 0—, lo que reduce el espacio que un modelo necesita para almacenar sus parámetros. Hassibi dice que los próximos modelos, que espera lanzar en los próximos meses, estarán en el rango de varios cientos de miles de millones de parámetros, y que los modelos más grandes deberían ser más fáciles de comprimir sin perder inteligencia.
Por qué importa
Según Stoica, el atractivo de este enfoque es que pone modelos capaces directamente en un dispositivo que la gente ya posee, de forma gratuita y sin enviar datos a la nube.