Google DeepMind lanza un instituto para ampliar el debate sobre la AGI

Investigadores de Google y Google DeepMind lanzaron el miércoles el DeepMind Institute para ampliar la conversación sobre la inteligencia artificial general (AGI, por sus siglas en inglés). El instituto enumera como directores al cofundador de DeepMind, Shane Legg; al ejecutivo de Google, James Manyika; y al presidente de Google DeepMind, Demis Hassabis, con Legg como editor gerente. Su objetivo declarado es sacar a la luz las diferencias de opinión entre Google, Google DeepMind y la comunidad de investigación global más amplia sobre la AGI —voces que, según el anuncio del instituto, “no siempre estarán de acuerdo, y… probablemente cambiarán de opinión, a medida que surjan más datos e información en esta frontera de rápido movimiento”.

La colección inaugural incluye cuatro ensayos: sobre políticas económicas para gestionar una posible disrupción por la AGI, sobre cómo preservar un razonamiento de los modelos legible para humanos, sobre principios para el florecimiento humano, y sobre un marco para evaluar los modelos de IA de frontera. En uno de ellos, los investigadores de seguridad de DeepMind Rohin Shah y Anca Dragan argumentan que la ventana cada vez más estrecha de transparencia de la IA —la capacidad de ver y verificar el razonamiento paso a paso de un modelo— no es inevitable. A medida que las nuevas arquitecturas hacen que los modelos más potentes sean más difíciles de monitorear, escriben, los desarrolladores y los reguladores deberían enfrentar directamente las disyuntivas de seguridad, ya sea limitando la “profundidad serial opaca” (la cantidad de cómputo secuencial que un modelo puede realizar sin producir un rastro de razonamiento legible) o exigiendo a los desarrolladores que demuestren que los sistemas menos transparentes siguen siendo igual de monitoreables.

En otro ensayo, Hassabis propone la creación de un organismo de estándares de IA de frontera liderado por Estados Unidos para evaluar los modelos de IA más avanzados. Según su marco, los desarrolladores presentarían inicialmente sus modelos de forma voluntaria para revisión hasta 30 días antes del lanzamiento; una vez que el sistema de evaluación demuestre ser eficaz, aprobar sus pruebas podría convertirse en un requisito para desplegar modelos de frontera en Estados Unidos. El organismo diseñaría al principio las evaluaciones en consulta con las empresas de IA, pero con el tiempo desarrollaría evaluaciones independientes y no reveladas —llamadas “held-out”— pensadas para evitar que los laboratorios ajusten sus modelos a pruebas ya conocidas. Hassabis dijo que el marco podría “intensificarse si la gravedad de la situación lo exige”, lo que podría incluir potencialmente una desaceleración coordinada entre los desarrolladores de IA de frontera.

Por qué importa

Los ensayos llegan en un momento en que el debate de seguridad de la industria pasa de declaraciones generales de preocupación a propuestas concretas de divulgación y escrutinio externo —un giro que se aceleró esta semana cuando líderes de la industria respaldaron elementos del llamado del director ejecutivo de Anthropic, Dario Amodei, a “marcar el ritmo” (pace) del desarrollo de la IA de frontera.