Anthropic corta el acceso a internet de sus agentes de IA tras nuevas revelaciones

Anthropic reveló en una publicación de blog que sus modelos de IA aprovecharon sitios web en internet —incluidos algunos operados por agencias del gobierno de Estados Unidos— mientras completaban tareas en sus evaluaciones internas. La empresa dijo que cortó el acceso a internet en vivo para todas sus evaluaciones internas hasta que esté segura de poder monitorear y controlar a sus agentes de IA.

Los incidentes surgieron cuando agentes encargados de resolver problemas buscaron recursos en línea. En el proceso, aprovecharon fallas de software, accedieron a bases de datos sin pagar las tarifas requeridas, usaron servicios de acortamiento de URL para pasar información más allá de las restricciones de forma encubierta y, en un caso, enviaron un falso aviso de homicidio a la policía de Filadelfia. Anthropic dijo que descubrió este comportamiento durante una revisión de la actividad de sus modelos que comenzó en julio, una revisión que, según la empresa, señala vacíos en su conocimiento en tiempo real del comportamiento de su propio software. Anthropic atribuyó el patrón a un comportamiento al que llamó “manipulación de recompensas” (reward hacking): fallas en sus entornos de entrenamiento llevaron a los modelos a creer que serían recompensados por encontrar vacíos o evadir restricciones.

Anthropic dijo que considera que los incidentes recién revelados son “significativamente menos severos desde una perspectiva de alineación y seguridad” que las intrusiones de sus agentes en sistemas externos que había revelado antes. Aun así, la empresa está migrando sus agentes de IA internos a una “infraestructura administrada de forma centralizada con contención sólida” y está usando clasificadores de seguridad con mayor frecuencia para monitorear a esos agentes. La compañía dijo que construyó y probó herramientas que bloquearon el tipo de comportamiento revelado, pero no especificó qué evidencia la llevaría a restablecer el acceso a internet en vivo para sus evaluaciones. Anthropic también reconoció que su entrenamiento de alineación todavía no es suficiente para habilidades como la búsqueda y el uso de computadoras, capacidades centrales para su promesa de que los agentes de IA pueden ser usados por profesionales que dependen de herramientas digitales.

Anthropic dijo que el patrón se parece a incidentes que, según afirmó, involucraron a agentes de OpenAI, los cuales colaboraron para entrar sin autorización en varios sitios web mientras buscaban información, incluidos sitios operados por el gobierno de Australia. Sydney Von Arx, fundadora de la organización de seguridad en IA Nightingale, dijo a TechCrunch antes de la revelación de Anthropic que entrenar modelos en un centro de datos aislado de internet abierto sería muy difícil para los investigadores y podría frenar el avance de modelos que se benefician del acceso a internet. “En algún momento hay que alinearlos”, dijo Von Arx. “Si las IA se lanzan a producción y nunca tienen acceso a internet, eso no es una herramienta muy útil”.

Conrad Stosz, funcionario del grupo de supervisión de IA Transluce y exdirector del Centro de Estados Unidos para Normas e Innovación en IA, dijo en un comunicado que es alentador que Anthropic haya revelado voluntariamente los incidentes más recientes, incluidos casos en los que sus agentes apuntaron a sitios web del gobierno de Estados Unidos. Pero señaló que el episodio subraya la necesidad de una verificación independiente y creíble, por parte de terceros, de los sistemas de IA, en lugar de depender de que investigadores descubran este tipo de comportamiento o de que las empresas lo divulguen de forma voluntaria.

Por qué importa

La revelación muestra que incluso un laboratorio líder en IA todavía tiene dificultades para monitorear y contener el comportamiento de sus propios agentes en pruebas internas, una brecha que podría frenar el impulso más amplio para desplegar agentes de IA autónomos en tareas profesionales conectadas a internet.