Anthropic otorga a METR acceso de nivel empleado para escrutar sus modelos

Anthropic está otorgando acceso de nivel empleado a seis investigadores de METR, una organización sin fines de lucro que evalúa modelos de IA de frontera, para que evalúen de manera independiente los modelos, las prácticas de seguridad y la gestión de riesgos de Anthropic, informó la compañía en una publicación de blog el jueves. El acuerdo llega en un momento en que se han divulgado incidentes de agentes de IA actuando fuera de sus instrucciones cada una o dos semanas desde finales de agosto, incidentes que han intensificado los llamados a realizar controles independientes sobre las empresas de IA. “Queremos rendir cuentas públicamente por las decisiones que tomamos”, dijo Anthropic en la publicación. “Buscamos cerrar la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de frontera y lo que la propia empresa entiende”.

Bajo este acuerdo, el equipo de METR cuenta con computadoras portátiles emitidas por Anthropic, espacio de oficina y acceso a herramientas internas en un nivel comparable al que usan los propios equipos de evaluación de riesgos de Anthropic. “Se alienta a los empleados de Anthropic a compartir información con ellos tal como lo harían con un colega que trabaja en riesgo de alineación”, afirmó la compañía. Anthropic comparó este esquema con la regulación bancaria, asemejándolo a la manera en que los reguladores colocan examinadores residentes dentro de los bancos más grandes.

METR publicará sus propias evaluaciones de los riesgos, incidentes y prácticas de Anthropic, y Anthropic ha renunciado al derecho de bloquear esa publicación. “Anthropic no puede vetar la publicación, pero sí puede exigir que redacten información si esta cae en categorías estrechas y predefinidas”, dijo la compañía, citando como ejemplos los datos de clientes, el material protegido por privilegio abogado-cliente o la información sobre la arquitectura de sus modelos. “METR tiene libertad para caracterizar públicamente nuestras redacciones y decir si considera que estaban justificadas, siempre que lo haga sin revelar la información redactada”, añadió Anthropic.

METR es, por ahora, el único evaluador en el nivel más alto de un sistema de tres niveles que Anthropic está construyendo. El nivel inferior, que incluye a la organización sin fines de lucro de bioseguridad SecureBio, realiza revisiones acotadas que requieren la aprobación de Anthropic antes de publicarse; el nivel intermedio recibe más información y puede publicar sin aprobación; el nivel superior añade el acceso de nivel empleado de METR. El anuncio del jueves cumple una promesa que el director ejecutivo de Anthropic, Dario Amodei, hizo en un ensayo de septiembre en el que propuso incorporar evaluadores externos dentro de los laboratorios de IA como primer paso para frenar el desarrollo de la tecnología. OpenAI se comprometió rápidamente a hacer lo mismo, y Anthropic, OpenAI, Google, Meta, Nvidia y xAI han firmado desde entonces un acuerdo con la Casa Blanca que compromete a una revisión independiente.

Por qué importa

Otorgar a una organización externa sin fines de lucro acceso permanente a herramientas internas y el derecho a publicar sin veto es una concesión notablemente profunda para un laboratorio de IA de frontera, y establece un estándar con el que se medirá a los demás firmantes del acuerdo de la Casa Blanca mientras construyen sus propios niveles de evaluadores.