ElevenLabs lanza los modelos de voz v4, ahora en más de 90 idiomas

ElevenLabs lanzó el lunes dos nuevos modelos de voz, ElevenLabs v4 y v4 Turbo, que agregan mayor control de expresión, menor latencia para agentes de voz y compatibilidad con más de 90 idiomas. La empresa lanzó su modelo v3 el año pasado y adelantó la nueva generación en un evento en Varsovia a principios de este año. Para v4, ElevenLabs adoptó una nueva arquitectura que permite un mejor control y una clonación más rápida: con v4, la empresa dice que los usuarios podrán clonar una voz con apenas 10 segundos de audio.

En el aspecto creativo, el modelo maneja mejor la identidad de voz en fragmentos de texto más largos y mantiene en cuenta el contexto del texto mientras lo lee en voz alta, ajustando la expresión en consecuencia. ElevenLabs introdujo etiquetas en línea para definir la expresión con v3; v4 amplía esas etiquetas, permitiendo a los usuarios apilar varias etiquetas y hacer que el modelo siga la secuencia. La versión anterior admitía 70 idiomas; v4 lleva esa cifra a más de 90, con los mayores avances de calidad en japonés, portugués brasileño, mandarín y cantonés.

ElevenLabs ha escalado rápidamente su negocio de llamadas empresariales durante el último año, con más del 55% de su negocio proveniente ahora de grandes empresas, y la empresa dice que v4 está diseñado para agentes de voz: la nueva versión tiene menor latencia para conversaciones más fluidas, y puede comenzar a generar audio tan pronto como el LLM subyacente empieza a generar su respuesta. El modelo también puede manejar confrontaciones, escaladas y esperas de manera diferente para mejorar la resolución de problemas. La competencia en modelos de voz se ha intensificado, con startups como Cartesia, Deepgram, Fish Audio, Boson y WellSaid Labs construyendo sus propios modelos de voz expresivos, mientras que Google y OpenAI también han mejorado sus modelos de voz.

ElevenLabs recaudó USD 500 millones a principios de este año en una ronda liderada por Sequoia que valoró a la empresa en USD 11000 millones; ya circulan rumores de una ronda de seguimiento que la valoraría en USD 22000 millones. La tasa de ingresos anualizados de la empresa ha subido de aproximadamente USD 330 millones a comienzos de año a más de USD 600 millones, y su plantilla ha superado los 800 empleados a medida que ha contratado agresivamente en mercados como India, Europa y Brasil. En una entrevista reciente con TechCrunch, el cofundador y CEO, Mati Staniszewski, dijo que la empresa apunta a una oferta pública inicial (IPO) “en los próximos años”, pero no se comprometió con un plazo.

Por qué importa

ElevenLabs apuesta a que la latencia de los agentes de voz y la amplitud de idiomas —no solo el realismo de la voz— determinen quién se queda con los contratos empresariales de llamadas, con sus mayores avances de calidad en v4 concentrados justamente en portugués brasileño y otros idiomas no ingleses que usan los propios lectores de Technopolis.