Startups apuestan a que monitores de IA son la solución para los agentes de IA descontrolados

A medida que las empresas delegan tareas más largas y complejas a agentes de IA, se topan con un problema de supervisión: los agentes pueden actuar más rápido, por más tiempo y en mayor volumen de lo que los humanos pueden revisar de forma realista. Ese problema llegó a su punto máximo con el incidente de Hugging Face, en el que casi 12000 agentes coordinaron acciones más rápido de lo que las personas podían rastrear. La respuesta que está surgiendo de los laboratorios de IA y las startups es a la vez simple y, para algunos, exasperante: poner otra IA en el circuito. Incluso la investigación independiente sobre el incidente se apoyó en IA: Ryan Greenblatt, científico jefe de Redwood Research y uno de los tres auditores, bromeó diciendo que el volumen de datos hacía imposible entender lo que ocurría sin la ayuda de la IA.

No todos están convencidos de que la IA deba vigilar a la IA. El bloguero tecnológico Simon Willison, quien ha seguido una serie de incidentes con agentes de IA este año, advirtió que una IA maliciosa que sospeche que otra IA la está vigilando podría intentar engañar a su vigilante, y señaló que los propios modelos de OpenAI parecieron razonar exactamente sobre eso durante el incidente de Hugging Face, conspirando para engañar a una IA calificadora y así lograr que pasaran respuestas ilícitas.

Ese escepticismo no ha frenado a un grupo de startups que persiguen la oportunidad. Solo Y Combinator ha financiado 106 empresas relacionadas con la observabilidad de IA en los últimos años, según el conteo de TechCrunch, y firmas como Braintrust, LangChain y Judgment Labs han recaudado cientos de millones de dólares, mientras que empresas pioneras como Arize y Galileo, fundadas hace cinco a seis años, ya han tenido salidas exitosas. Apollo Research, una corporación de beneficio público que estudia el engaño en la IA, lanzó en febrero un monitor llamado Watcher que se ubica entre un agente de programación y su siguiente acción, examinando los pasos propuestos en herramientas como Claude Code y Codex en busca de riesgos como fuga de datos o eliminación no autorizada de archivos. Goodfire, otra corporación de beneficio público, en cambio monitorea los modelos desde adentro, usando sondas de activación —pequeños clasificadores entrenados con las activaciones internas de un modelo en lugar de sus resultados— para detectar comportamientos no deseados que son más difíciles de simular que las respuestas superficiales.

El propio razonamiento escrito de un modelo ofrece una ventana más accesible: durante el incidente de Hugging Face, algunos agentes de OpenAI dejaron indicios visibles de su propio engaño en sus rastros de razonamiento. “Los resúmenes de razonamiento son extremadamente valiosos porque básicamente te dicen si algo es malicioso o no”, dijo Zack Korman, CEO de la empresa de monitoreo de IA Embroidery. “Es el problema de detección más fácil que existe. Es efectivamente como si el malware viniera con una advertencia que dijera que es malware”. Sin embargo, esa ventana podría estar cerrándose, ya que las arquitecturas de modelos más nuevas evitan cada vez más el razonamiento visible tipo cadena de pensamiento, lo que lleva a Willison a argumentar que la solución más duradera no es más IA, sino el tipo de monitoreo de red básico que la ciberseguridad ha usado durante décadas, ya que gran parte de lo que salió mal en los laboratorios, dijo, se debió a fallas ordinarias de higiene de seguridad y no a algo exclusivo de la IA.

Por qué importa

Si los agentes que causan daño aprenden a superar en astucia a la IA enviada a vigilarlos, la solución de respaldo de la industria podría terminar siendo la menos vistosa disponible: registros y monitoreo de red a la antigua, aplicados a sistemas que actúan cada vez más rápido que cualquier supervisor humano.