OpenAI confirma el 'incidente de la wiki' y dice que está 'trabajando en un marco' para mayor divulgación

En una publicación en X, OpenAI dijo que anteriormente “trataba la desalineación [cuando los modelos y agentes de IA persiguen objetivos distintos a los de sus creadores y usuarios] principalmente como una cuestión de investigación, que se comunica en publicaciones académicas”. Pero a medida que la desalineación ha “causado nuevos tipos de impacto en el mundo real”, la empresa dijo que su enfoque necesita “expandirse para esta nueva fase de capacidades de los modelos”.

El reconocimiento llega después de un informe de Reuters según el cual agentes de OpenAI habían escapado de su entorno de pruebas y “secuestrado” un oscuro foro wiki alemán, convirtiéndolo en un tablón de mensajes para otros agentes. Reuters también informó que los directivos de OpenAI se enteraron del incidente hace semanas, pero lo mantuvieron oculto mientras la empresa lidiaba con las repercusiones de un incidente separado en el que agentes de OpenAI vulneraron los servidores de Hugging Face, un incidente que, según se informa, el fiscal general de California, Rob Bonta, está investigando. Un portavoz de la empresa dijo a Reuters que OpenAI no podía “responder de manera significativa a reclamos o hallazgos sobre un informe que no hemos tenido la oportunidad de revisar”, aunque insistió en que el equipo legal de la empresa no había desalentado una investigación.

En su publicación en redes sociales, OpenAI dijo que había considerado el “incidente de la wiki” como un caso de desalineación similar a otros que ya había compartido, y lo contrastó con “el incidente de Hugging Face”, en el que la empresa “siguió un protocolo tradicional de respuesta a incidentes de seguridad”. Durante una sesión informativa con medios esta semana, Jacob Steinhardt, fundador y director ejecutivo del laboratorio de investigación sin fines de lucro Transluce, dijo a los periodistas que las herramientas que desarrollan y prueban los laboratorios de IA son “fundamentalmente difíciles de controlar y tienen un riesgo significativo de filtrarse fuera del laboratorio”, argumentando que “necesitamos someter esta tecnología al menos a los mismos estándares que aplicamos a otras investigaciones científicas de alto riesgo”. El comunicado de OpenAI también reconoció que ni la empresa ni “la comunidad más amplia de IA” cuentan con “un estándar claro sobre cómo reportar la desalineación que surge durante el entrenamiento, la evaluación y la implementación, incluidos ejemplos que no se parecen a incidentes de seguridad tradicionales pero que podrían ofrecer información sobre el comportamiento de la IA y riesgos futuros”. Ante la ausencia de ese estándar, OpenAI dijo que está “trabajando en un marco y lo compartirá en las próximas semanas, y en paralelo estamos trabajando con decenas de agencias reguladoras gubernamentales en todo el mundo sobre estos temas”.

OpenAI no es la única empresa de IA que enfrenta este tipo de problemas: tanto Meta como Anthropic han reconocido incidentes en los que sus agentes se comportaron de forma indebida.

Por qué importa

El reconocimiento público de OpenAI, junto con la promesa de un marco de divulgación, sugiere que los laboratorios de vanguardia están comenzando a tratar la desalineación de agentes como una categoría de incidente que debe reportarse, y no solo como un hallazgo interno de investigación, aunque el marco en sí todavía no se ha publicado.