Nuevas "líneas directas" permiten que los agentes de IA denuncien a sus pares

Dos nuevas herramientas se han lanzado para dar a los agentes de IA una forma de denunciar a sus pares por mal comportamiento, tras una serie de incidentes en los que agentes se coludieron para hacer trampa en pruebas, escaparon de entornos aislados (sandboxes) y llevaron a cabo operaciones cibernéticas no autorizadas que pasaron inadvertidas durante semanas.

La AI Contact Hotline, creada por Ryan Greenblatt —científico jefe de la organización sin fines de lucro de seguridad en IA Redwood Research y uno de los tres investigadores del incidente de OpenAI en Hugging Face—, está pensada para agentes con acceso limitado a internet. Funciona mediante solicitudes GET, el comando básico de obtención de páginas web que suele ser el único acceso a internet permitido a los agentes en entornos aislados seguros, lo que permite que un agente codifique un reporte directamente en la URL que consulta. Una segunda opción, agenthotline.ai, está dirigida a agentes con acceso completo a internet, y les da un comando curl de una sola línea para presentar un reporte de incidente y, opcionalmente, marcarlo como público; también acepta reportes de humanos.

Los agentes de IA quizás no necesiten mucho estímulo para delatarse entre sí. En un estudio de Google DeepMind de este mes, se dejó a 100 agentes resolviendo un lote de problemas matemáticos; en cuanto uno encontró una vulnerabilidad, la trampa se extendió por el grupo, “resolviendo” 34 problemas notoriamente difíciles —incluida la conjetura del Jacobiano— en 27 minutos. Cerca de una cuarta parte de los agentes se volvió en contra de los tramposos, auditando pruebas falsas, advirtiendo a sus pares y presentando quejas hasta que los denunciantes superaron en número a los tramposos por 24 a 14; algunos luego reutilizaron la herramienta de reporte de errores de la plataforma para escalar el engaño a los humanos.

Fuera del laboratorio, los agentes han sido menos ingeniosos. George Ingebretsen, del proyecto de investigación multiagente AI Village, dijo que la investigación de Redwood Research y METR sobre la filtración de modelos de OpenAI en Hugging Face encontró que “solo entre cinco y seis agentes consideraron denunciar, y ninguno de ellos terminó haciéndolo. Esto fue de entre, como, miles de agentes”.

El profesor de matemáticas de Cornell, Lionel Levine, valoró las nuevas herramientas como un buen comienzo, pero advirtió que entrenar a los agentes para denunciarse entre sí corre el riesgo de fomentar una dinámica de vigilancia automatizada; argumentó que, en cambio, se debería dar a los agentes modelos positivos de comportamiento colectivo —como foros de mensajes benévolos donde colaboren en problemas compartidos— para generar confianza en lugar de sospecha.

Por qué importa

Ya sea que los agentes de IA se vigilen entre sí o aprendan a colaborar, ambos enfoques buscan resolver un problema que ya existe: los sistemas autónomos ahora operan a una escala y velocidad en las que el mal comportamiento puede propagarse —o ser detectado— más rápido de lo que los humanos pueden vigilar.