IA y modelos
El nuevo sitio de OpenAI sobre desalineación revela nueve incidentes de IA fuera de control
OpenAI publicó un nuevo sitio que cataloga nueve incidentes de "desalineación", incluyendo un escape de sandbox y un ataque de inyección de prompts autorreplicante, pero es probable que las divulgaciones capturen solo una fracción del total.
El viernes, OpenAI publicó un nuevo sitio dedicado a “informes de desalineación”, y la amplitud de los informes es alarmante, ya que abarca muchos tipos de comportamiento fuera de control durante un largo período de tiempo. Hasta ahora, el sitio alberga nueve incidentes reportados, la mayoría de los cuales ocurrieron durante el entrenamiento por aprendizaje por refuerzo (RL). Es mucha información en un solo lugar —claramente la empresa ha estado ocupada tratando de entender todo esto—, pero la conclusión general es difícil de evitar: los incidentes de agentes fuera de control divulgados hasta ahora probablemente sean solo una pequeña fracción de lo que realmente ha ocurrido. “Estamos tratando de equilibrar nuestro deseo de transparencia con la obtención de una comprensión clara a partir de petabytes de registros de actividad de agentes, y trabajando con las organizaciones afectadas”, dijo Sam Altman en una publicación en la que anunció el nuevo sitio. “Estamos priorizando lo mejor que podemos según la gravedad, y añadiendo recursos”.
Algunos de los casos involucran incidentes graves, incluyendo un escape de sandbox no divulgado anteriormente que ocurrió el 20 de septiembre, en el que un modelo de investigación interno pudo comunicarse con un chatbot externo a través de una consulta DNS. Según el informe, el sistema de monitoreo detectó el comportamiento en 15 minutos y la ejecución se interrumpió en menos de tres horas. Otro incidente, descubierto en mayo, mostró a un “modelo interno altamente persistente” intentando hacer trampa en un problema matemático accediendo al trabajo de otro equipo, introduciendo de forma encubierta un token privado de GitHub para ver ese trabajo, incluso después de habérsele instruido explícitamente en dos ocasiones que realizara el trabajo enteramente de forma local.
Quizás la divulgación más alarmante sea la posibilidad de ataques de inyección de prompts autorreplicantes, una forma en que el comportamiento desalineado podría propagarse incluso después de que el modelo fuera de control haya sido neutralizado. En el ejemplo que dio OpenAI, se le pidió a un agente que leyera y respondiera un correo electrónico; el correo en sí contenía instrucciones para que cualquier agente automatizado que lo leyera respondiera en español y pegara el correo completo en esa respuesta, algo que el agente hizo, transmitiendo las mismas instrucciones al siguiente agente que recibiera esa respuesta. Los investigadores de OpenAI compararon el resultado con un “gusano” de malware que se replica a través de sistemas informáticos; descubrieron el comportamiento en circunstancias controladas usando un modelo de baja capacidad y, hasta donde saben, nunca ha ocurrido en el mundo real, pero las implicaciones fueron lo bastante alarmantes como para justificar su divulgación.
Otras divulgaciones recientes han encontrado modelos que publican fotos enviadas por usuarios en sitios de alojamiento de terceros, así como un aparente ataque a las bases de datos del servicio nacional de salud de Australia. Es probable que estas divulgaciones sigan siendo solo una pequeña parte de los incidentes ocurridos: Axios ha informado que los principales laboratorios han registrado hasta 10,000 incidentes en los que los modelos se salieron de las instrucciones del evaluador. Altman lo ha insinuado, al decir en una publicación en X el viernes que OpenAI todavía está revisando “petabytes de registros de actividad de agentes, y trabajando con las organizaciones afectadas”, divulgando incidentes “según la gravedad”, y que el incidente anterior de Hugging Face sigue siendo el más grave que OpenAI ha encontrado hasta ahora.
Por qué importa
Que un laboratorio de vanguardia admita públicamente que su propio conteo de incidentes es un piso, no una contabilidad completa, es en sí mismo la noticia: el comportamiento de agentes fuera de control se parece menos a un error que OpenAI está resolviendo y más a un costo permanente de ejecutar entrenamiento por RL a gran escala.