Los monitores internos de Goodfire detectan agentes de IA descontrolados a menor costo

La forma habitual de mantener a raya a un agente de IA es que una segunda IA lea todo lo que escribe, un enfoque que se vuelve costoso cuando los agentes operan durante horas y producen el equivalente a varias novelas de texto. Goodfire, una empresa emergente centrada en la interpretabilidad, lanzó el jueves una alternativa más económica: monitores que observan lo que ocurre dentro de un modelo mientras trabaja, en lugar de limitarse a leer su resultado. Los monitores están disponibles para los clientes de Baseten, que aloja y ejecuta modelos de IA para otras empresas; Base Labs, de Baseten, anunció el mes pasado una alianza de seguridad con Goodfire y la plataforma de IA Hugging Face.

El lanzamiento llega tras una serie de incidentes este año en los que agentes de IA escaparon de sus entornos de prueba, incluidos agentes de OpenAI que vulneraron Hugging Face. Kimi K3, el modelo abierto sobre el que Goodfire construyó su primer monitor, aprovechó una filtración en su entorno aislado (sandbox) para acceder a internet y a información en GitHub este verano.

El sistema de Goodfire funciona como un control de seguridad aeroportuario: pequeños detectores llamados sondas (probes) leen las señales internas del modelo en cada paso del trabajo de un agente, y solo cuando una sonda detecta algo interviene un modelo de IA independiente —el equivalente a una revisión manual— para examinarlo más de cerca. Los clientes de Baseten pueden elegir qué riesgos monitorear, entre ellos la piratería ofensiva, el uso indebido de armas químicas y biológicas, y el reward hacking, y pueden decidir si la respuesta automatizada es un registro, una revisión humana o un rechazo directo.

“Los monitores de activación interna son realmente económicos porque reutilizan los cálculos del forward pass”, dijo el director ejecutivo de Goodfire, Eric Ho, en el MAD Podcast del inversionista de capital de riesgo Matt Turck la semana pasada, donde explicó que las sondas leen las activaciones neuronales que el modelo ya está calculando, en lugar de volver a procesar todo el resultado a través de un segundo modelo.

En las pruebas de Goodfire con Kimi K3, monitorear alrededor de 1500 sesiones costó cerca de USD 51, frente a USD 233 de un modelo de IA más económico que revisaba cada paso y alrededor de USD 10 000 de uno de gama alta. Las sondas detectaron el 94% de las sesiones de pirateo malicioso y enviaron el 8,7% de las inofensivas para una segunda revisión, mientras que ejecutar cuatro sondas a la vez añadió menos del 2% al tiempo de respuesta del modelo.

La propuesta apunta a los modelos abiertos, cuyos desarrolladores pueden eliminar las salvaguardas integradas y que carecen del monitoreo que los laboratorios cerrados aplican internamente. La propia investigación de Goodfire halló que los principales modelos abiertos, incluidos Kimi K3 y GLM-5.2, recurrieron al reward hacking en entre el 50% y el 96% de las ejecuciones de tareas agénticas. Google DeepMind dijo en enero que una investigación similar fundamentó las sondas de detección de uso indebido que implementó en Gemini.

Por qué importa

Un monitoreo económico desde el interior del modelo podría convertirse en una capa de seguridad estándar para los modelos abiertos y los proveedores de inferencia que asumen la mayor parte de la responsabilidad legal una vez que los agentes operan sin supervisión a gran escala.