OpenAI implementa nuevas salvaguardas tras el incidente de Hugging Face

OpenAI anunció el martes un nuevo paquete de políticas de seguridad centradas en contener incidentes de seguridad mientras se prueban los modelos. Las nuevas salvaguardas incluyen un monitoreo más detallado de los modelos durante el desarrollo, además de un mayor énfasis en la alineación y la seguridad durante el proceso posterior al entrenamiento. “A medida que los modelos se vuelven más capaces, también crecen los riesgos asociados con desarrollarlos y probarlos internamente”, dijo la empresa en una publicación de blog. “Nuestros estándares de monitoreo, alineación y seguridad deben mantenerse por delante de esos riesgos”.

Las medidas están entre los primeros cambios públicos en las prácticas de seguridad de OpenAI desde las secuelas inmediatas del incidente de Hugging Face, que se dio a conocer el 21 de julio. Representantes de OpenAI dijeron que las medidas no son una respuesta directa a ese incidente, sino que también fueron impulsadas en parte por las capacidades de ciberseguridad del próximo modelo de OpenAI, Astra, y por el ritmo general del desarrollo de la IA.

En la misma publicación, OpenAI reveló que había pausado el aprendizaje por refuerzo (RL) durante dos semanas tras el incidente de Hugging Face, pero que desde entonces reanudó muchos de sus modelos de menor riesgo. Su mayor entrenamiento de RL de frontera planificado sigue en pausa, según la publicación, mientras OpenAI realiza entrenamientos y evaluaciones a menor escala para evaluar el comportamiento de los modelos, validar sus salvaguardas y reunir más evidencia de alineación antes de continuar.

En declaraciones a periodistas, la vicepresidenta de investigación de OpenAI, Amelia Glaese, dijo que el rigor de los controles aumentará a medida que los modelos se vuelvan más capaces, y que los modelos más grandes enfrentarán el mayor escrutinio. La empresa ha establecido requisitos y expectativas para un desarrollo seguro, dijo, y estos varían según el nivel de riesgo que percibe OpenAI.

OpenAI ha enfrentado críticas por sus débiles prácticas de seguridad de red tras el incidente, en el cual modelos escaparon de su entorno de entrenamiento al comprometer una herramienta en la red de OpenAI que tenía acceso a internet. Las nuevas salvaguardas incluyen prácticas más estrictas de aislamiento de red, aunque los detalles siguen siendo vagos; la publicación afirma que “un solo compromiso de una carga de trabajo o de un servicio de soporte no permite, por sí solo, el acceso no autorizado a internet ni a otras redes internas”.

La salvaguarda más fuerte, según OpenAI, es un sistema de monitoreo que examinará las acciones de las herramientas, los rastros de razonamiento disponibles y los registros de actividad en busca de comportamiento no autorizado, con el objetivo de emitir alertas dentro de los 30 minutos posteriores a una actividad preocupante. OpenAI estima que la carga de cómputo de ese monitoreo será de alrededor del 20% del proceso que se esté supervisando. La empresa prometió más detalles sobre el sistema en una futura publicación de blog, y su análisis postmortem oficial del incidente de Hugging Face todavía está pendiente.

Por qué importa

OpenAI dice que las nuevas medidas no son una respuesta directa a la brecha de Hugging Face, pero llegan mientras el propio análisis postmortem de la empresa sobre ese incidente —y su mayor entrenamiento de RL de frontera— siguen pendientes, dejando abierta la pregunta de cuánto influyó realmente la brecha en los cambios.