Writer lanza Palmyra X6 y una actualización de su harness para contener los costos de tokens de IA

En toda la industria de la IA, los usuarios son cada vez más conscientes de lo costosas que pueden ser sus implementaciones, y sienten una nueva urgencia por reducir gastos; pero aunque los modelos de código abierto ofrecen costos por token más bajos, puede ser difícil encontrar el adecuado para una tarea determinada. El jueves, Writer, que construye herramientas y agentes de IA para especialistas en marketing, lanzó un nuevo modelo insignia llamado Palmyra X6 para abordar ese problema. Construido como una variación post-entrenamiento del modelo de código abierto GLM-5.2 de Z.ai, Writer dice que el sistema ofrece capacidades listas para implementación a un precio mucho más bajo, y estima que el modelo, combinado con cambios en su infraestructura de harness, reducirá los costos de los clientes hasta en un 50% en tareas básicas. Tanto el modelo como las actualizaciones del harness estuvieron disponibles para los clientes de Writer a partir del jueves.

“Creo que las empresas están absolutamente hartas de perseguir el próximo benchmark”, dijo a TechCrunch la CEO May Habib. “Quieren aplanar los costos, y parece que nadie puede lograrlo”. El nuevo enfoque pone énfasis en tareas complejas y de múltiples pasos ejecutadas más rápido y con menos tokens, y considera la optimización del harness como una palanca crucial para lograrlo. Un artículo reciente de investigadores de Writer encontró que, en varios modelos evaluados, los cambios en el harness fueron a menudo una forma más confiable de reducir costos que cambiar de modelo, reduciendo los costos en un promedio del 40% en sus pruebas, una evidencia, según escribieron los investigadores, de que el harness es el único componente cuyas mejoras de eficiencia se multiplican en todos los modelos que usa una organización, presentes y futuros.

Para los clientes de Writer, la experiencia sigue siendo agnóstica en cuanto al modelo: Palmyra X6 convive con los otros modelos de Writer y con modelos externos importados a través de Azure o Amazon Bedrock. Habib también ve el impulso por reducir costos como parte de un cambio más amplio hacia la desconfianza en los grandes laboratorios de IA, que según ella tienen un incentivo financiero para aumentar el uso de tokens y que, en su opinión, no entienden del todo cómo ayudar a una empresa a obtener valor real de la IA.

Por qué importa

Si la eficiencia del harness, y no la capacidad bruta del modelo, es lo que realmente reduce los costos de la IA empresarial, eso desplaza la presión competitiva desde los laboratorios de frontera que compiten por construir los modelos más grandes hacia los proveedores que optimizan cómo se usan realmente esos modelos.