La nueva técnica de razonamiento de OpenAI inquieta a expertos en seguridad de IA

El nuevo modelo Astra de OpenAI utiliza una técnica de razonamiento llamada “profundidad recurrente”, o “recurrencia opaca”, que le permite operar fuera del pensamiento secuencial que caracteriza a la mayoría de los modelos de razonamiento, según informó The Information el martes. Es probable que la técnica dificulte el monitoreo de la cadena de razonamiento del modelo, y aunque el uso que hace Astra de ella es, según se informa, limitado, la noticia ha inquietado a los investigadores de seguridad de IA.

El director ejecutivo de Redwood, Buck Shlegeris, dijo que estaba extremadamente preocupado por los informes de que Astra usa recurrencia opaca, advirtiendo que si OpenAI impulsa aún más la técnica, el laboratorio tendría la opción de aumentar drásticamente la recurrencia y destruir por completo la posibilidad de monitorear la cadena de razonamiento. El defensor de la seguridad de la IA Zvi Mowshowitz argumentó que podrían ser necesarias leyes para evitar una “carrera hacia el fondo” entre los laboratorios de IA, y advirtió que un uso más intensivo de estas técnicas probablemente dañaría la fidelidad de la cadena de razonamiento que OpenAI y Anthropic se han esforzado por establecer.

En condiciones normales, la cadena de razonamiento de un modelo expone los pasos secuenciales que sigue para resolver un problema, una herramienta imperfecta pero valiosa para detectar comportamientos indebidos o desalineados, que jugó un papel en la comprensión de la reciente actividad de “agentes descontrolados” de OpenAI. La recurrencia opaca, en cambio, hace que el modelo procese la misma consulta repetidamente en un bucle, dejando menos rastros legibles y evitando un registro convencional de la cadena de razonamiento.

OpenAI ha rechazado cualquier sugerencia de que esté avanzando hacia el “neuralés” (“neuralese”), diciendo que se espera que la cadena de razonamiento de Astra siga siendo legible, y remitiendo a sus planes existentes para sistemas extensos de monitoreo de la cadena de razonamiento; el científico jefe Jakub Pachocki escribió en X que la compañía ha trabajado para preservar y utilizar el monitoreo de la cadena de razonamiento desde sus primeros modelos de razonamiento, calificándolo como un objetivo central de su programa de investigación actual.

La preocupación no se limita a OpenAI: todos los modelos de IA ya realizan algo de razonamiento opaco, y en un informe de seguimiento publicado el miércoles, The Information dijo que Anthropic y Google DeepMind también estaban explorando la técnica. El científico jefe de Redwood Research, Ryan Greenblatt, advirtió que el razonamiento opaco podría escalar más rápido que el razonamiento convencional de cadena de pensamiento, eliminando eventualmente el razonamiento de los canales visibles por completo. “Mi mayor preocupación es que una progresión natural desde aquí implicaría escalar el razonamiento opaco hasta el punto en que el modelo razone total o casi totalmente en un espacio latente”, escribió, y agregó que espera que “no sea demasiado tarde para evitar las arquitecturas más preocupantes”.

Por qué importa

El episodio muestra cómo las técnicas de capacidad que un laboratorio usa brevemente pueden extenderse por toda la industria en cuanto rivales como Anthropic y Google DeepMind empiezan a explorarlas también, poniendo a prueba si el monitoreo de la cadena de razonamiento —una de las pocas herramientas que tienen los investigadores para detectar un mal comportamiento de la IA— puede sobrevivir a la próxima ola de experimentos de arquitectura.