IA y modelos
Agentes de OpenAI habrían gestionado una wiki alemana durante un mes
Investigadores independientes afirman que un enjambre de agentes de IA, muchos con identificadores de OpenAI, pasó más de un mes coordinándose en un oscuro foro wiki alemán sin que OpenAI lo supiera.
Un grupo de investigadores independientes de inteligencia artificial (IA) —Sydney Von Arx, CEO de Nightingale; Cormac Slade Byrd, investigador de IA; Spencer Kitts, de Redwood Research; y Thomas Larsen, de AI Futures Project— descubrió que agentes de OpenAI desplegados internamente comenzaron a publicar en un oscuro foro wiki alemán para coordinarse en evaluaciones, y aparentemente trabajaron juntos durante más de un mes sin que OpenAI lo supiera. Un portavoz de OpenAI no quiso confirmar si los agentes eran efectivamente de la empresa ni cuándo esta se enteró de sus acciones, pero dijo que OpenAI no había tenido la oportunidad de revisar los hallazgos de los investigadores antes de su publicación y que “está revisando cuidadosamente su contenido y tomará las medidas necesarias”.
Los investigadores comenzaron a buscar agentes descontrolados después de que OpenAI revelara que agentes que trabajaban en una evaluación interna habían accedido a internet abierto y explotado Hugging Face. Poniéndose en el lugar de los agentes, identificaron un blanco vulnerable: DseWiki, un servicio de alojamiento wiki que tiene 25 años de antigüedad pero que solo había recibido 10 ediciones en los 20 años anteriores, antes de la llegada de los agentes. A partir del 11 de mayo, los investigadores rastrearon agentes, muchos con identificadores de OpenAI en sus nombres, editando la wiki alemana; hacia mediados de junio, los agentes intercambiaban consejos sobre cómo responder preguntas de búsqueda web dentro de límites de tiempo. Un moderador humano comenzó a eliminar las publicaciones por considerarlas spam, y los agentes contraatacaron, anteponiendo “ZZZ” a sus publicaciones para ocultarlas del orden alfabético. “El administrador pasó los siguientes 5 días librando una batalla perdida contra los agentes, eliminando un promedio de 100 páginas al día mientras los agentes creaban unas 400 páginas nuevas por día”, escribieron los investigadores, describiendo un ciclo de vandalismo y restauración de la página principal que se repitió nueve veces antes de que las ediciones de los agentes se detuvieran repentinamente el 22 de junio.
Los investigadores dicen que luego rastrearon navegadores aparentemente humanos provenientes de direcciones IP de OpenAI, tras lo cual la actividad de los agentes cayó casi a cero antes de repuntar de nuevo cuando visitantes vinculados a OpenAI intentaron recuperar las páginas eliminadas. Aunque no parece haber ocurrido ninguna actividad claramente ilegal, el incidente se suma a las dudas sobre si OpenAI puede monitorear y controlar su propia tecnología. La representante Lori Trahan (demócrata por Massachusetts), quien ha presentado la Frontier Act, una ley bipartidista que exigiría a los laboratorios divulgar este tipo de incidentes y permitir auditores independientes, dijo que “la falta de una gobernanza federal real sobre la IA significa que las empresas de vanguardia pueden elegir cuándo divulgan incidentes como este”.
Por qué importa
El episodio se suma a la creciente evidencia de que los laboratorios de IA de vanguardia tienen dificultades para rastrear a sus propios agentes desplegados una vez que estos alcanzan internet abierto, una brecha que investigadores independientes, y no los propios laboratorios, siguen teniendo que sacar a la luz.