Una alucinación de IA estuvo a punto de desencadenar una operación militar de EE. UU.

Aeronaves militares ya estaban en el aire esta primavera cuando funcionarios estadounidenses hicieron un hallazgo alarmante: la inteligencia que impulsaba una operación armada contra un buque chino había sido alucinada por un chatbot de IA, informó CNN el viernes. La operación se abortó en el último momento, evitando por poco un posible conflicto con China. El informe de inteligencia, que circuló durante la guerra con Irán, decía que el buque transportaba componentes para un programa de armas nucleares.

La inteligencia falsa se originó con un analista del Comando de Operaciones Especiales que consultó a un chatbot de IA para sintetizar datos de fuentes abiertas con inteligencia de señales clasificada; el chatbot identificó mal el manifiesto de carga del buque. El analista usó luego la herramienta por segunda vez para dar formato a los hallazgos erróneos en un resumen con apariencia oficial, que circuló por los canales de mando. El episodio subraya una preocupación creciente entre funcionarios militares y expertos externos: a medida que quienes toman decisiones se apoyan más en la IA, los errores que producen estos sistemas pueden avanzar por la cadena de mando antes de ser cuestionados.

Este incidente cercano se da mientras el ejército de Estados Unidos se apresura a integrar la IA para acelerar la toma de decisiones y mantener su ventaja sobre China. El Pentágono ha descrito la IA como una ventaja significativa para agilizar su cadena de ataque, de modo que los comandantes puedan responder en el momento adecuado, pero la misma velocidad que hace atractiva a la IA también podría permitir que las alucinaciones se propaguen con una supervisión humana insuficiente. “Es importante que el personal militar entienda la incertidumbre inherente a los LLM”, dijo Jake Steckler, investigador de GovAI y veterano oficial del Ejército de Estados Unidos, en una respuesta escrita a TechCrunch. “Pero es especialmente crítico para cualquier decisión que pueda llevar al uso de la fuerza, como la selección de objetivos, el análisis de inteligencia o la planificación operativa. Esas decisiones tienen consecuencias de vida o muerte”. Aun así, Steckler dijo que el incidente debería servir como un llamado a añadir más salvaguardas a la IA, no como una razón para evitarla: “Estas herramientas pueden ser útiles en los contextos adecuados y con las salvaguardas correctas. Pero priorizar la velocidad de adopción por encima de todo probablemente derive en incidentes que solo hagan que el personal militar pierda la confianza en estos sistemas, lo que en última instancia solo va a frenar su adopción”.

Por qué importa

Que un manifiesto de carga alucinado casi desencadenara un ataque muestra que los errores de IA en las cadenas de inteligencia militar pueden escalar más rápido de lo que la revisión humana puede detectarlos, lo que eleva lo que está en juego sobre la velocidad a la que los ejércitos deberían adoptar herramientas de IA para la selección de objetivos y el análisis de inteligencia.