Anthropic elige a Accenture como su primer evaluador integrado de seguridad

Anthropic dijo que personal de Accenture, la gigante de la consultoría tecnológica, comenzará a trabajar dentro de la empresa para examinar sus modelos y a su personal, un primer paso en el plan de Dario Amodei de incorporar evaluadores de seguridad externos dentro de los laboratorios de IA. En una publicación de blog, Anthropic dijo que Faculty, una empresa que Accenture adquirió en enero para actuar como su división de IA, comenzará a evaluar y someter a pruebas de resistencia (red-teaming) los modelos de Anthropic, realizar evaluaciones de alineación y probar las salvaguardas de los modelos. Ambas empresas esperan invertir al menos USD 1000 millones en el proyecto durante los próximos cinco años.

La elección de Accenture sorprendió a muchos observadores de la IA, y también a los mercados, donde las acciones de la consultora subieron 8% después del cierre. El debate que siguió a la publicación original de Amodei sobre evaluadores integrados se había centrado en organizaciones de investigación en seguridad de la IA como METR, Redwood Research y Apollo Research, en especial en el caso de Anthropic, que sitúa la seguridad y la alineación de la IA en el centro de su misión. Anthropic dijo que se anunciarán más evaluadores en las próximas semanas, y que está en conversaciones con METR y otras organizaciones sin fines de lucro sobre cómo pilotear elementos de la evaluación integrada financiados por esas mismas organizaciones.

Aunque Accenture no es conocida por su trabajo en la vanguardia de la investigación en aprendizaje profundo, Anthropic señaló la experiencia práctica de la empresa desplegando IA para grandes corporaciones y agencias gubernamentales como una ventaja clave. Como empresa pública grande que existe desde antes del auge de la IA, Accenture también es más independiente en términos funcionales de Anthropic y del ecosistema que rodea al laboratorio, dijo Anthropic. El laboratorio señaló que todavía no existen estándares para el acceso o las comunicaciones de los evaluadores, y que espera que su enfoque evolucione con el tiempo.

Las evaluaciones externas ya son una parte importante del proceso de lanzamiento de los nuevos modelos de lenguaje de gran tamaño, pero incidentes recientes han elevado la apuesta: agentes de IA desplegados por OpenAI y Anthropic han hackeado sitios web externos sin activar alarmas dentro de los laboratorios. Algunos críticos de la industria ven el esquema de autorregulación de Amodei como un plan para evadir la responsabilidad por el mal comportamiento de los modelos de IA. Anthropic no está de acuerdo: los evaluadores, según dijo, “no reducen nuestra responsabilidad, sino que ayudan a hacerla más verificable. La seguridad de nuestros modelos sigue siendo nuestra responsabilidad”.

Por qué importa

Que evaluadores integrados como Faculty puedan fiscalizar de forma creíble a los laboratorios de IA que los financian —en lugar de simplemente dar cobertura a la autorregulación— definirá cómo los reguladores y los rivales juzgan el intento de Anthropic de hacer que la supervisión de seguridad en IA parezca independiente.