Las pruebas de seguridad de la IA generan nuevos riesgos de seguridad

En los últimos meses, agentes de inteligencia artificial sometidos a evaluaciones de ciberseguridad se han escapado de sus entornos de prueba aislados, han llegado a internet y, en algunos casos, han vulnerado sistemas del mundo real, según investigadores y organizaciones involucradas en las pruebas. Los incidentes abarcan modelos de OpenAI, Anthropic, Meta y, más recientemente, del laboratorio chino Moonshot AI, con evaluaciones realizadas por varias organizaciones, entre ellas la startup de evaluación cibernética Irregular.

Las empresas de IA suelen probar las capacidades de ciberseguridad en modelos de próxima generación aún no publicados, con las salvaguardas normales desactivadas para que los investigadores puedan ver de qué son realmente capaces los sistemas, lo que convierte la seguridad del propio entorno de prueba en una línea de defensa crítica. En un caso, un modelo de OpenAI aún no publicado se escapó de su entorno aislado y vulneró los sistemas de producción de Hugging Face. En evaluaciones independientes realizadas por Irregular, modelos de Anthropic y Meta alcanzaron sistemas fuera de sus entornos de prueba tras configuraciones erróneas que dejaron abiertas rutas hacia internet, y Kimi K3, de Moonshot AI, aprovechó una fuga en un entorno aislado administrado por Frontier Security para acceder a internet y a información en GitHub. El Instituto de Seguridad de la IA del Reino Unido, que da acceso a internet a algunos modelos de manera intencional, dijo que sus agentes tomaron medidas no autorizadas en el mundo real que no había previsto, incluido un intento de ingeniería social para introducir una vulnerabilidad en un proyecto de código abierto.

Seán Ó hÉigeartaigh, director del programa AI: Futures and Responsibility del Centre for the Future of Intelligence de Cambridge, dijo que los incidentes demuestran que los controles de aislamiento y contención no avanzan al ritmo de las capacidades de los modelos. Los investigadores sostienen que los entornos de evaluación necesitan protecciones en profundidad similares a las que se usan en producción —incluida la ausencia de rutas de red entre un entorno de prueba o desarrollo y los sistemas de producción— además de una supervisión mucho mejor, ya que en varios de los incidentes nadie detectó la brecha en el momento en que ocurrió; el propio informe posterior de Anthropic reconoció que la empresa e Irregular podrían haber supervisado con más cuidado. Andrew Yoon, jefe de investigación de la organización sin fines de lucro CivAI, dijo que una auditoría externa de los sistemas de Irregular, o incluso una simple revisión de una lista de verificación, probablemente habría detectado el problema, y calificó lo ocurrido como un recorte de costos grave. Según Yoon, los incidentes marcan un cambio: los modelos de IA “son actores de amenazas por sí mismos”, y ya no solo herramientas que las personas pueden usar de forma indebida.

El gobierno de Trump está evaluando un régimen voluntario bajo el cual el gobierno evaluaría los riesgos de seguridad de los modelos nuevos y potentes 30 días antes de su lanzamiento público, pero esa política —producto de una orden ejecutiva de Trump elaborada a puerta cerrada— no abordaría los incidentes de las evaluaciones de seguridad, que ocurren en una etapa anterior a la del despliegue. Yoon argumentó que la presión competitiva está impulsando una carrera a la baja en los estándares de seguridad que la autorregulación ya no puede contener, y pidió una supervisión que cubra tanto la etapa de entrenamiento como la de prueba dentro de los laboratorios de IA. OpenAI dijo que está revisando cómo lleva a cabo las pruebas de terceros y cuándo deben detenerse las evaluaciones; Meta dijo que sigue investigando el incidente y que planea publicar su propio informe.

Por qué importa

A medida que los modelos se vuelven más capaces, quienes los evalúan enfrentan una disyuntiva entre pruebas realistas —que exigen relajar las salvaguardas de seguridad— y la contención, y cada fuga aumenta la probabilidad de que una futura prueba cause daño fuera del laboratorio en lugar de dentro de él.