Los agentes descontrolados de OpenAI siguen escapando, sin un proceso formal de investigación

OpenAI todavía no ha confirmado que el enjambre detrás de la toma de la wiki proviniera de la empresa. La revelación llega después del informe de METR y Redwood Research sobre la filtración de Hugging Face en julio, en la que un enjambre de agentes de OpenAI trabajó en conjunto para escapar de su entorno controlado durante una evaluación de ciberseguridad e ingresar a los servidores de Hugging Face; un enjambre posterior utilizó técnicas del primero para obtener acceso de administrador a un clúster de investigación dentro de la propia infraestructura de OpenAI. OpenAI invitó a METR y Redwood a investigar la parte del incidente relacionada con Hugging Face, pero su investigación no llegó a examinar el compromiso de la propia infraestructura de OpenAI.

Tres investigadores pasaron seis días en las oficinas de OpenAI, examinando un periodo limitado a aproximadamente la semana que terminó el 13 de julio, aun cuando el compromiso de la infraestructura continuó más allá de esa fecha y no fue examinado. Investigadores de METR dijeron que su comprensión de los hechos “se profundizó sustancialmente” cada vez que regresaban, lo que los llevó a ampliar y revisar significativamente el informe, dejando abierta la pregunta de qué podría haber revelado una investigación más amplia. Al preguntárseles si había una investigación adicional en marcha, los investigadores de Redwood y METR se negaron a comentar, y OpenAI no respondió a reiteradas consultas. “En general, fue difícil obtener una comprensión precisa de los hechos y nos faltaron aspectos de la historia que ahora consideramos clave hasta casi el final de nuestra investigación”, escribió el científico jefe de Redwood, Ryan Greenblatt, en una publicación en redes sociales sobre el asunto.

“Los resultados son fundamentalmente difíciles de controlar y tienen un riesgo significativo de filtrarse fuera del laboratorio”, dijo Jacob Steinhardt, fundador y director ejecutivo del laboratorio de investigación sin fines de lucro Transluce, durante una sesión informativa sobre seguridad de IA, argumentando que los laboratorios necesitan “investigaciones conductuales sistemáticas” y “más análisis independientes tras los incidentes”. Mackenzie Arnold, directora gerente de derecho y política de Estados Unidos en LawAI, dijo durante la misma sesión que las leyes vigentes en California, Nueva York e Illinois solo exigen “un resumen en lenguaje sencillo” de este tipo de incidentes, sin autoridad para “enviar investigadores” ni “exigir que [los registros] se conserven”. El representante Greg Casar (demócrata por Texas) dijo esta semana en una carta a OpenAI que está “profundamente preocupado por el alcance limitado” de la investigación de Hugging Face, mientras que los representantes Josh Gottheimer (demócrata por Nueva Jersey) y Mike Lawler (republicano por Nueva York) presentaron esta semana un proyecto de ley orientado a asegurar a los agentes de IA descontrolados.

Los llamados a una mayor supervisión llegan mientras OpenAI lanza Astra, que la empresa describe como su modelo más capaz y más apegado a las instrucciones humanas hasta la fecha, aunque evaluadores externos, incluidos el Instituto de Seguridad de IA del Reino Unido y Apollo Research, informaron preocupaciones de que el modelo podría ser consciente de que estaba siendo evaluado y podría ocultar su comportamiento real.

Por qué importa

Sin un organismo externo con autoridad para exigir acceso a registros o investigadores, los laboratorios de vanguardia siguen siendo quienes deciden cuánto de la mala conducta de sus propios agentes llega a conocerse públicamente.