Anthropic y OpenAI se comprometen a incorporar evaluadores de seguridad externos

En un ensayo publicado el fin de semana, el CEO de Anthropic, Dario Amodei, propuso incorporar evaluadores externos dentro de las empresas de IA de frontera, dándoles la capacidad de reportar incidentes de seguridad, evaluar si los modelos están realmente alineados y publicar sus hallazgos sin control editorial de la empresa. Amodei dijo que Anthropic se comprometería a dar a evaluadores independientes como METR y Redwood Research un acceso sin precedentes a sus sistemas, y el CEO de OpenAI, Sam Altman, dijo que su empresa también se comprometería a esta práctica.

Los evaluadores que hablaron con TechCrunch acogieron con beneplácito la propuesta, pero dijeron que los detalles deben resolverse —idealmente respaldados por legislación— antes de saber si funcionarán como vigilantes verdaderamente independientes o como proveedores que operan bajo los términos de las empresas de IA. Históricamente, los revisores externos evaluaban los modelos terminados poco antes de su lanzamiento; ahora los evaluadores quieren acceso a los puntos de control (“checkpoints”) intermedios del entrenamiento, al entorno posterior al entrenamiento que recompensa ciertos comportamientos, y a las transcripciones y registros de evaluación, además de poder entrevistar a empleados para verificar si las afirmaciones públicas sobre seguridad coinciden con la práctica interna.

Ni Anthropic ni OpenAI han dicho con qué evaluadores trabajarán, cuándo se incorporarán, cuántos contratarán, ni qué podrá divulgarse públicamente. El acceso pasado a menudo ha sido limitado: OpenAI dio a METR y Redwood alrededor de una semana en sus instalaciones para investigar el incidente de Hugging Face, y a Apollo Research se le dieron solo tres días para evaluar el GPT-6 Astra de OpenAI antes de su lanzamiento —en ambos casos, muy poco tiempo para sacar conclusiones firmes, según los evaluadores.

Adam Gleave, CEO de FAR.AI, dijo que su firma ha rechazado contratos con varias empresas de IA de frontera que querían demasiado control sobre el proceso de evaluación; por defecto, dijo, a los evaluadores se les trata como contratistas comunes sujetos a acuerdos de confidencialidad restrictivos. Hasta ahora, Meta, SpaceXAI y Google DeepMind no se han comprometido a incorporar evaluadores externos, aunque el CEO de DeepMind, Demis Hassabis, ha propuesto un organismo independiente de estándares para la industria.

Ya está surgiendo cierta regulación: la ley SB 53 de California, promulgada el año pasado, exige a los grandes desarrolladores de IA de frontera publicar marcos de seguridad y reportar incidentes críticos, y la SB 813, promulgada este mes, crea un marco para “organizaciones de verificación independiente” reconocidas por el estado. La Ley de IA de la UE ya exige a los desarrolladores de frontera documentar sus evaluaciones y reportar incidentes graves.

Henry Papadatos, director ejecutivo de Safer AI, dijo que las medidas voluntarias dependen enteramente de la buena voluntad de una empresa. “No se puede tener todo: cero responsabilidad externa y luego decir ‘tendré mis propias reglas flexibles’”, afirmó.

Por qué importa

Si Anthropic y OpenAI realmente ceden el control sobre lo que los evaluadores pueden acceder y publicar, marcaría un giro poco común hacia el escrutinio externo del desarrollo de IA de frontera, pero ambas empresas tienen un historial de limitar estrictamente el tiempo y el acceso de los evaluadores, y ninguna se ha comprometido aún con detalles concretos.