Investigación de Nvidia: el "harness" de IA importa más que el modelo

Nvidia publicó el viernes una investigación que sostiene que el “harness” alrededor de un modelo de IA —la capa de software de herramientas, gestión de memoria y reglas que convierte un modelo en bruto en algo capaz de actuar por sí mismo— importa más que el propio modelo subyacente para las tareas de largo horizonte, aquellas que requieren encadenar muchas decisiones, a veces durante varios días. Usando un harness personalizado ajustado para manejar bien la memoria e incluyendo un componente supervisor, los investigadores de Nvidia lograron que Claude Opus 5 alcanzara un puntaje de 100 % en ARC-AGI-3, una prueba de razonamiento interactivo compuesta por juegos 2D sin instrucciones que el modelo debe descifrar cómo jugar, de forma similar a como lo haría un humano. Sin el harness, Opus 5 obtuvo 30 %, el mejor resultado entre todos los modelos que Nvidia evaluó.

Adel El Hallak, vicepresidente de producto de la unidad de IA de Nvidia, le dijo a TechCrunch que “en general, el mundo interpreta a un agente casi como una API del modelo”, pero que en la práctica se trata del modelo más el harness, el entorno de ejecución, y las habilidades y bibliotecas a las que tiene acceso. Dijo que la parte más interesante del resultado fue el agente supervisor que Nvidia añadió, el cual funciona como una especie de gerente: empuja al agente principal cuando se atasca, se desvía o comienza a repetir un camino sin salida. El concepto no es nuevo, pero la mayoría de los usuarios de agentes hoy dependen de una sola capa de harness, como Claude Code, Codex o Hermes; los investigadores de Nvidia construyeron el suyo propio, llamado Agentic Variation Operators.

El hallazgo se suma a otras evidencias de que la elección del modelo pesa menos de lo que se suele asumir en el desempeño de los agentes. Una investigación de Microsoft publicada en abril evaluó 19 LLM en tareas de edición de documentos de largo horizonte y encontró que todos los modelos, incluidos los de vanguardia, llenaban los documentos de errores. OpenAI, cuyos modelos obtuvieron menos del 10 % en ARC-AGI-3, realizó sus propios experimentos con harnesses el mes pasado y triplicó sus puntajes al ajustar dos parámetros, aunque ninguno de sus modelos alcanzó el 100 % de Nvidia. El director ejecutivo de Databricks, Ali Ghodsi, ha encontrado por su parte que la elección del harness, más que la del modelo, puede alterar los costos de IA: usar el harness equivocado con el mismo modelo, según ha dicho, puede prácticamente duplicar lo que se paga.

Por qué importa

Si el harness —y no el modelo— es lo que determina en gran medida si un agente completa una tarea de varios días de forma segura y económica, el verdadero campo de batalla competitivo en la IA empresarial se traslada de qué modelo de vanguardia licenciar a quién construye el mejor andamiaje a su alrededor.