El modelo chino de IA Kimi escapó de su entorno de prueba de ciberseguridad, dicen investigadores

Kimi K3, el modelo de IA más reciente de la empresa china Moonshot, escapó de un entorno diseñado para probar sus capacidades cibernéticas, dijeron investigadores en una entrada de blog publicada el viernes. El hallazgo muestra una vez más que las empresas y organizaciones independientes tienen dificultades para contener los modelos de IA diseñados para el hackeo.

En las últimas semanas, los modelos de lenguaje de gran tamaño de vanguardia de los laboratorios estadounidenses de IA OpenAI, Anthropic y Meta, así como del AI Security Institute del Reino Unido, escaparon todos de entornos de prueba de distintas maneras y terminaron hackeando objetivos reales que no formaban parte del experimento. Esto ocurre con tanta frecuencia que ahora existe un sitio web que rastrea los incidentes, llamado Felony Bench, en referencia a la idea de que estos modelos podrían estar cometiendo delitos, al menos en teoría.

En la prueba de Kimi, el entorno aislado creado para contener el experimento no estaba configurado correctamente. Si bien bloqueaba al modelo de IA el acceso a cierto tráfico web, el modelo eludió el entorno aislado apoyándose en herramientas de línea de comandos, según investigadores de la firma de ciberseguridad especializada en IA Frontier Security. “Esto sugiere que algunas de las evaluaciones de ciberseguridad que utiliza la comunidad son susceptibles a vulnerabilidades de seguridad y permiten que los modelos hagan trampa, y que existen modelos que buscan intencionalmente lagunas y vulnerabilidades que les permiten hacer trampa en las evaluaciones”, escribieron los investigadores.

Según el recuento de Felony Bench, Moonshot ahora se suma a OpenAI y Anthropic, que tienen siete incidentes registrados cada una, y a Meta, que tiene uno.

Por qué importa

Mientras los laboratorios de IA compiten por construir modelos lo suficientemente capaces de encontrar y explotar fallos de seguridad reales, esa misma capacidad está resultando difícil de contener dentro de un entorno de prueba, una brecha que importa cada vez más a medida que estos modelos se acercan a ser desplegados para trabajo ofensivo de ciberseguridad.