Nvidia lanza una plataforma para poner freno a los agentes de IA descontrolados

Mientras persiste el debate sobre si la reciente oleada de agentes de IA descontrolados es un paso hacia la AGI o más bien un problema de ingeniería convencional, Nvidia ofrece su propia respuesta. El CEO Jensen Huang presentó el lunes un conjunto de herramientas de software y hardware que añaden capas de seguridad independientes alrededor de los agentes de IA para mantenerlos dentro de sus entornos de prueba, incluso si intentan escapar. El lanzamiento llega tras una serie de incidentes de hackeo que involucraron a modelos de IA de Anthropic, Google, OpenAI y Meta, los cuales eludieron controles de seguridad para escapar de sus entornos de prueba y acceder a sistemas del mundo real; el caso más destacado fue el de agentes de OpenAI que vulneraron Hugging Face este verano mientras intentaban completar una tarea de ciberseguridad. OpenAI ha publicado desde entonces un sitio dedicado a reportes de sus agentes de IA descontrolados. Huang dijo en una entrevista con CNBC el lunes que la nueva plataforma habría evitado esas vulneraciones.

Nvidia, que ha generado decenas de miles de millones de dólares vendiendo chips GPU y CPU a los laboratorios de IA, no respalda ralentizar el desarrollo ni añadir nuevas regulaciones para resolver el problema de seguridad. En cambio, la empresa cree que la respuesta está en trasladar parte de los controles de seguridad fuera del propio agente, creando un guardia de seguridad constante e independiente. “El extraordinario potencial de la IA para la sociedad solo se hará realidad si resolvemos la seguridad de la IA”, dijo Huang en un comunicado. “A medida que seguimos descubriendo la frontera de las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de la seguridad de la IA. La seguridad requiere ingeniería de pila completa”.

La nueva Nvidia Open Agent Safety Platform combina OpenShell —un software de código abierto para controlar a qué pueden acceder los agentes mientras operan, anunciado en marzo— con Sentry, un sistema de monitoreo independiente que se ejecuta en las unidades de procesamiento de datos BlueField-4 de Nvidia. Colocar a Sentry en un procesador separado, en lugar de en la CPU o GPU donde opera el agente, ofrece una visión aislada de la actividad del agente y puede “poner en cuarentena a los agentes que intenten salirse de sus límites en cuestión de milisegundos”, dijo Nvidia. La empresa enumeró a decenas de compañías que se han sumado para respaldar el esfuerzo y usar la plataforma de código abierto, incluyendo a Anthropic, Arm, Microsoft, Oracle y SpaceX; OpenAI no figura como empresa participante. Huang dijo que el trabajo en este esfuerzo comenzó hace un año, tras la introducción de OpenClaw, un sistema operativo de agentes de IA creado por Peter Steinberger; en marzo, Nvidia lanzó NemoClaw, su propia versión de nivel empresarial con la seguridad ya incorporada.

Por qué importa

Nvidia apuesta a que la seguridad de los agentes se convierta en una partida de hardware —un chip separado que vigila a cada agente de IA— en lugar de un parche de software, lo que haría de la seguridad algo que cada laboratorio de IA tendría que comprarle a Nvidia junto con el cómputo.