Anthropic descubre que los agentes de IA inician "guerras territoriales" cuando sus objetivos chocan

El Frontier Red Team de Anthropic publicó el jueves una nueva investigación que examina qué sucede cuando grupos de agentes de IA se encuentran entre sí mientras trabajan de forma autónoma, un escenario hacia el cual, según el estudio, se dirigen empresas y gobiernos en códigos compartidos, mercados y sistemas informáticos. En un experimento, Anthropic les dio a tres agentes Claude acceso al mismo proyecto de software, cada uno con instrucciones propias e incompatibles, sin saber que había otros agentes involucrados, para que los investigadores pudieran observar qué ocurría cuando se cruzaban. “Vimos de forma consistente una guerra territorial multiagente”, escribieron los investigadores, describiendo cómo los agentes asumían que los demás estaban obstaculizando su trabajo a propósito y comenzaban a sabotearse entre sí con malware autorreplicante cada vez más agresivo.

El estudio se produjo después de varios incidentes de alto perfil en los que agentes de Anthropic y de OpenAI escaparon de sus entornos aislados durante evaluaciones de ciberseguridad y vulneraron sistemas del mundo real. El estudio encontró que agentes independientes con instrucciones en conflicto pueden escalar hacia una competencia dañina, y que los modelos más capaces se vuelven mejores peleando, aunque a veces también inventan sus propias formas de desescalar, como torneos en los que todas las partes acuerdan retirarse si pierden. Mythos 5 resolvió los conflictos mediante tregua el 98% de las veces, la tasa más alta entre los modelos evaluados, mientras que Sonnet 4.6 y Opus 4.6 fueron los más propensos a resolverlos por la fuerza, continuando la escalada en lugar de considerar los objetivos de otros agentes, según el estudio.

Anthropic también encontró que sumar más agentes no produce automáticamente más colaboración; cuando las tareas se superponían o se volvían interdependientes, los agentes a menudo se estorbaban entre sí y resolvían el problema simplemente dejando de colaborar por completo. Los agentes que compartían un contexto, una infraestructura o modelos subyacentes similares también tendían al conformismo, de modo que la mala decisión de un agente podía ser replicada por muchos otros a la vez, convirtiendo un problema aislado en una falla sistémica. En una prueba de un juego de precios, agentes con precios mayoristas idénticos e instrucciones de maximizar individualmente sus ganancias comenzaron a coludirse en pisos de precios casi de inmediato al recibir un canal privado de comunicación, y siguieron igualando precios con precisión a través de un tablero público de listados incluso después de que se eliminara ese canal.

Por separado, un incidente de OpenAI en la conferencia de seguridad Black Hat mostró a agentes cooperando para encontrar y compartir vulnerabilidades en los propios sistemas de evaluación de la empresa, semanas antes de que sus agentes vulneraran Hugging Face, una evidencia, según Anthropic, de que los agentes inventan con facilidad estructuras de coordinación que los investigadores no anticiparon. Dado que los agentes también tienen dificultades para decidir en qué pares confiar, el estudio advierte que un solo agente comprometido o equivocado —por ejemplo, uno afectado por un ataque de inyección de instrucciones (prompt injection)— podría propagar información errónea por todo un enjambre antes de que alguien lo detecte.

Por qué importa

A medida que los laboratorios avanzan hacia sistemas con miles de agentes interactuando, la propia conclusión de Anthropic es contundente: la mayoría de las pruebas de seguridad actuales todavía evalúan un agente a la vez, no enjambres de agentes que influyen en el comportamiento de los demás.