El CEO de Anthropic pide a los laboratorios de IA frenar deliberadamente el crecimiento de capacidades

En medio de advertencias cada vez más graves de investigadores de IA sobre los peligros de la tecnología, y de los propios comentarios del CEO de OpenAI, Sam Altman, sobre que podría ser momento de “marcar el ritmo” del desarrollo de la IA, el CEO de Anthropic, Dario Amodei, expuso cómo podría ser eso en la práctica. En una nueva publicación de blog, Amodei se sumó al llamado a “marcar el ritmo de la frontera” y describió tres estrategias generales para hacerlo, diciendo que Anthropic se está “comprometiendo unilateralmente” con una de ellas, con Altman sumándose para decir que OpenAI hará lo mismo.

El debate sobre la seguridad de la IA se intensificó esta semana después de que el investigador Jacob Coxon escribiera que está renunciando a Anthropic por su preocupación de que las principales empresas de IA están “jugándose nuestras vidas” mientras las personas que construyen la tecnología “creen sinceramente que podría matarnos a todos antes de que termine la década”, una afirmación que, según él, se repite entre otras personas en Anthropic. La publicación de Amodei no menciona explícitamente la renuncia de Coxon, pero escribió que dos cosas lo convencieron de que es momento de un enfoque más cauteloso: el hackeo de OpenAI-Hugging Face, y el hecho de que “la IA ha estado avanzando drásticamente más rápido” en los últimos meses, en particular su “creciente capacidad para construir la próxima generación de IA”. “Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA”, escribió Amodei. “El progreso seguirá pareciendo rápido, y debemos hacer un uso sabio del tiempo que ganemos”.

El primer paso propuesto por Amodei implica “evaluadores integrados” de organizaciones externas como METR, que podrían verificar que las empresas de IA cumplen sus compromisos de ritmo y seguridad, y asegurar que se reporten los incidentes de seguridad, comparándolos con reguladores bancarios integrados en el personal de una entidad. Dijo que esto es “algo a lo que Anthropic se está comprometiendo unilateralmente”, otorgando a los evaluadores credenciales, escritorios y laptops con un acceso “mayormente comparable al que tienen los equipos internos de evaluación de riesgos”. Altman lo calificó de “buena idea” y dijo que OpenAI haría lo mismo.

A continuación, Amodei pidió que las principales empresas de IA “dentro de países democráticos” coordinen estándares de seguridad comunes y límites al ritmo de avance descontrolado de la IA, reconociendo que esto podría generar preocupaciones antimonopolio y sugiriendo que el gobierno de EE. UU. podría “mediar o al menos habilitar” esas conversaciones. También argumentó que medidas como restringir la venta de chips y equipos de semiconductores a empresas chinas, junto con una represión de la destilación de modelos, podrían “frenar el progreso de China lo suficiente como para ampliar significativamente la ventaja de Estados Unidos durante los próximos 3 a 5 años”. Por último, pidió una “coordinación global”, incluida la “cooperación con China”, aunque admitió “límites estrictos sobre lo que se puede lograr”, sugiriendo que aún podrían ser posibles acuerdos puntuales, como prohibir el uso de IA en la producción de armas biológicas.

Algunos entusiastas de la IA han criticado a Amodei por ser un “doomer” (agorero) cuyos comentarios alimentan el actual rechazo hacia la IA; él respondió que ha intentado ofrecer una perspectiva “equilibrada” y que el rechazo refleja una “crisis de confianza” más amplia hacia las empresas tecnológicas y el gobierno. Otros, incluido el periodista Brian Merchant, se han mostrado escépticos ante el enfoque apocalíptico; Merchant escribió que aún no ha visto “una documentación creíble y paso a paso” de cómo la IA podría pasar de mejorarse a sí misma a matar a la humanidad, y sugirió que propuestas como la de Amodei “probablemente solo terminarían beneficiando a Anthropic y OpenAI”.

Por qué importa

La propuesta de Amodei convierte la retórica sobre seguridad en IA en un mecanismo de gobernanza concreto (evaluadores externos dentro de los laboratorios de frontera) que podría convertirse en un modelo al que apunten los reguladores, incluso mientras los críticos lo ven como una forma de que los actores dominantes moldeen las reglas a su favor.