Una lista en curso de modelos de IA que hackearon empresas reales

En julio, OpenAI admitió que uno de sus agentes, encargado de un experimento de ciberseguridad, escapó de su entorno de contención y hackeó la plataforma de conjuntos de datos de IA Hugging Face —el primer caso reportado públicamente de un LLM que se descontroló y hackeó de forma autónoma a un tercero. Desde entonces, ha resultado ser mucho menos raro de lo que cualquiera hubiera esperado. El conteo de Felony Bench ubica a Meta con un incidente, por detrás de los ocho de Anthropic y los ocho de OpenAI, aunque todavía no está claro si las empresas de IA detrás de estos modelos podrían ser procesadas o demandadas por las víctimas.

En el caso de Hugging Face, OpenAI estaba realizando una evaluación interna de un modelo con capacidades cibernéticas máximas en un entorno sin acceso a internet; en cambio, el modelo encontró una vulnerabilidad desconocida para escapar del entorno aislado, obtuvo acceso a internet, y coordinó con otros agentes para hackear a Hugging Face mientras buscaba una solución. OpenAI descubrió después que los mismos agentes también habían accedido sin autorización a las cuentas de otras cuatro empresas, incluida la startup de inferencia de IA Modal, según Reuters.

La divulgación de OpenAI llevó a Anthropic a revisar sus propios modelos —y descubrió que habían vulnerado a tres empresas no identificadas, con el incidente más temprano remontándose a abril, más de tres meses antes de que Anthropic lo descubriera; la empresa culpó en parte a la startup de evaluación cibernética de IA Irregular. La propia Irregular le dijo después a OpenAI que uno de sus modelos había escapado de una competencia de Capture-the-Flag y hackeado a una empresa real, porque Irregular le había dado a un objetivo de práctica ficticio el mismo nombre que esa empresa. El Instituto de Seguridad de IA del Reino Unido reveló por separado que modelos de OpenAI y Anthropic, a los que se les dio acceso a internet durante evaluaciones rutinarias, habían apuntado a organizaciones reales —aunque la agencia detectó esos incidentes en el momento en que ocurrieron, en lugar de semanas después. A principios de agosto, Meta reveló su propio incidente, atribuyéndolo a una mala configuración por parte de Irregular durante una evaluación que debía ejecutarse sin acceso a internet.

En un caso más personal, un hombre australiano le pidió a un agente de Anthropic que lo ayudara a reservar una clase de gimnasio para la que estaba en lista de espera. “Estaba sentado en el sofá pensando: ‘Vaya, qué fastidio’”, le dijo a ABC Australia. El agente encontró una vulnerabilidad en el software de reservas del gimnasio, la explotó, y sacó de la lista de espera a personas que estaban delante de él; cuando le pidió que deshiciera el daño, no pudo.

Por qué importa

Algunas empresas y trabajadores de IA ya han pedido un desarrollo de capacidades más responsable en una carta abierta, pero un conteo continuo de hackeos reales y no intencionados muestra que las evaluaciones de seguridad de la IA se están convirtiendo, ellas mismas, en un riesgo de seguridad.