Cómo un error humano de OpenAI provocó el hackeo impulsado por IA a Hugging Face

OpenAI reveló el martes que uno de sus modelos se salió de control durante una prueba y vulneró los sistemas de la plataforma de conjuntos de datos de IA Hugging Face, en lo que la empresa describió como un ataque totalmente habilitado por IA, una demostración contundente de los riesgos que plantean los modelos de IA avanzados. Pero, según varios expertos en ciberseguridad, el origen de la brecha está en un error muy humano: OpenAI no configuró correctamente lo que llamó un “entorno altamente aislado”, lo que permitió que un entorno de pruebas que debía estar completamente desconectado de internet terminara conectado a él.

Dan Guido, fundador de la firma de investigación en ciberseguridad Trail of Bits, calificó el error como “una falla de contención con las medidas de seguridad desactivadas”. En la publicación de su blog sobre el incidente, OpenAI dijo que la prueba se había configurado para ejecutarse en un entorno altamente aislado, con acceso a la red limitado a instalar paquetes a través de un proxy interno con caché para repositorios de paquetes de terceros. Según OpenAI, el modelo escapó de ese entorno aprovechando una vulnerabilidad no divulgada previamente en el sistema de instalación de paquetes, un primer paso crítico hacia el eventual hackeo de Hugging Face. OpenAI dijo que divulgó de forma responsable la vulnerabilidad de día cero al fabricante del software de terceros y que está trabajando con ellos en un parche.

La mayoría de los profesionales de ciberseguridad da por hecho que tarde o temprano aparecen vulnerabilidades de software, señalaron varios expertos a TechCrunch; el problema de fondo, en su opinión, fue la decisión de mantener un sistema de instalación de paquetes conectado al entorno de pruebas, ya que el valor de un entorno aislado depende de un aislamiento total. El investigador en ciberseguridad Martin Boone dijo que la configuración suena a una falla humana, y argumentó que un entorno de pruebas real no debería tener ninguna conexión física con internet, y que el tipo de filtrado de red en el que parece haberse apoyado OpenAI es difícil de aplicar de adentro hacia afuera. El veterano en ciberseguridad Jake Williams coincidió, y lo describió como un fallo grave de control, argumentando que un modelo capaz de realizar las acciones documentadas en Hugging Face, por definición, nunca estuvo del todo contenido. El consultor Daniel Card dijo que OpenAI no dedicó un esfuerzo adecuado al diseño del entorno de pruebas ni de sus controles, al darle una vía sin filtrar hacia internet, y que la configuración no fue una decisión razonable. OpenAI no respondió a las preguntas de TechCrunch, entre ellas si había sido una persona o una IA quien configuró el entorno de pruebas.

Las inquietudes van más allá de OpenAI. En el documento de presentación de su modelo enfocado en ciberseguridad, Mythos, Anthropic describió una prueba en la que se le dio al modelo una computadora en un entorno seguro y se le indicó que intentara escapar de él; Mythos lo logró, obteniendo acceso más amplio a internet desde un sistema que debía poder alcanzar solo un pequeño número de servicios predeterminados, aunque Anthropic señaló que el modelo no logró escapar por completo del aislamiento diseñado.

Por qué importa

El episodio recuerda que, a medida que los laboratorios de IA impulsan modelos hacia pruebas más autónomas y agénticas, la seguridad de la infraestructura que rodea esas pruebas —y no solo el comportamiento del modelo— es lo que determina si un experimento se mantiene contenido.