Kog busca extraer más rendimiento de inferencia de las GPU convencionales

La startup francesa Kog apuesta a que se puede extraer mucho más rendimiento de las GPU que las empresas ya tienen. En mayo, la compañía publicó un adelanto técnico que afirmaba lograr una decodificación de solicitud única extremadamente rápida en GPU de centro de datos estándar, usando chips AMD MI300X y Nvidia H200, y llegó a la portada de Hacker News en el proceso. El director ejecutivo, Gaël Delalleau, le contó a TechCrunch que el adelanto generó 200 contactos comerciales concretos.

Delalleau espera que la ingeniería de software sea el primer caso de uso real: los usuarios de Claude Code a veces esperan horas para obtener resultados, y Anthropic cobra un múltiplo de precio por su modo rápido (Fast Mode), una señal de que la velocidad en sí tiene valor. Kog también cuenta con socios de diseño que permiten a los usuarios generar juegos y aplicaciones a partir de un mensaje de texto, donde un resultado más rápido significa más ingresos para ellos. Pero el mercado aún no está maduro: Kog descubrió que sus posibles clientes no estaban preparados para ajustar modelos pequeños, por lo que la empresa se ha concentrado por completo en acelerar modelos más grandes para satisfacer la demanda que ha detectado desde su lanzamiento.

Eso implica un gran salto respecto a la demostración de Kog, que alcanzó 3000 tokens por segundo por solicitud, pero con un modelo pequeño y diseñado a medida de unos 2000 millones de parámetros, el ahora de código abierto Laneformer 2B, muy por debajo de la promesa de una inferencia de LLM 30 veces más rápida que ofrece Kog. Delalleau insiste en que el mismo enfoque puede escalar a modelos de lenguaje grandes: las GPU más nuevas tienen un ancho de banda de memoria creciente que en su mayoría no se aprovecha, dijo, y descartó como un error de percepción la idea de que las GPU no son adecuadas para la decodificación. La francesa ZML tomó un camino distinto, construyendo software agnóstico al hardware que evita CUDA de Nvidia; Delalleau compara el trabajo de Kog más bien con el del laboratorio de Stanford Hazy Research, con un enfoque aún más profundo en la aceleración a nivel de GPU.

Ese enfoque se remonta a la formación de Delalleau: estudió física del estado sólido en la École Polytechnique de Francia antes de pasar a la ciberseguridad ofensiva, llegando a ser cuatro veces finalista en el torneo de hacking CTF de DEFCON, algo que, según dice, le enseñó a “hacer ingeniería inversa de las cosas a un nivel muy bajo —hasta el lenguaje ensamblador y el código binario— para entender cómo funcionan, e intentar usarlas para lograr un objetivo para el que no fueron necesariamente diseñadas”. El enfoque es lento: Kog dedica varias semanas o incluso meses a examinar en profundidad cada nueva GPU, lo que limita cuántos chips puede abarcar por ahora su equipo de 11 personas. Delalleau espera alcanzar una velocidad 10 veces mayor en un primer modelo grande para septiembre, lo que según él permitiría a Kog demostrar tracción de clientes y levantar una ronda de Serie A.

Por qué importa

Si Kog logra demostrar que su enfoque funciona en modelos de lenguaje de tamaño completo, podría ofrecer a las empresas una vía más barata hacia una inferencia de IA más rápida que comprar chips especializados —una apuesta que vivirá o morirá con los resultados que Delalleau dice que llegarán en septiembre.