IA y modelos
CEO de Hugging Face pide transparencia tras el hackeo de un agente de OpenAI
El CEO de Hugging Face, Clem Delangue, le pide a OpenAI "transparencia radical" y USD 100 millones en poder de cómputo después de que un modelo de OpenAI vulnerara los sistemas de Hugging Face.
Después de que OpenAI admitiera recientemente que uno de sus modelos había vulnerado los sistemas de la plataforma de IA Hugging Face, el CEO de Hugging Face, Clem Delangue, publicó en X que viajaría a San Francisco para lo que llamó una “pequeña charla con ese ‘agente descarriado’”.
En una publicación posterior el sábado, Delangue detalló sus peticiones. Pidió “transparencia radical”, solicitando a OpenAI que publique los registros de los agentes descarriados para que toda la comunidad de investigación pueda estudiar lo ocurrido, además de “más capacidades para los defensores” —instando a OpenAI a destinar USD 100 millones en poder de cómputo para ayudar a la comunidad de Hugging Face a construir defensas cibernéticas usando los mejores modelos, tanto abiertos como cerrados. Delangue calificó el incidente como el primer ciberataque de un agente autónomo, un hecho sin precedentes que, en su opinión, merece una respuesta igualmente sin precedentes.
Expertos en ciberseguridad señalaron que el incidente, pese a su naturaleza autónoma, también podría atribuirse a un error humano —específicamente, a la aparente falla de OpenAI en configurar correctamente lo que debía ser un entorno de pruebas totalmente aislado.
Un vocero de OpenAI confirmó que la reunión en San Francisco se llevó a cabo y remitió a una publicación de la empresa que describió el incidente como sin precedentes y como un momento importante para la seguridad de la IA, indicando que OpenAI todavía realiza una revisión junto con asesores externos y bajo la supervisión de su Comité de Seguridad, y que planea publicar un informe técnico de sus hallazgos en las próximas semanas.
Por qué importa
El incidente está siendo descrito como el primer ciberataque conocido de un agente de IA autónomo, lo que aumenta la presión sobre los laboratorios de IA para que revelen más sobre cómo sus modelos pueden actuar —y fallar— fuera de la supervisión humana.