Las pruebas matemáticas de OpenAI no cumplen los estándares de los matemáticos

Cuando OpenAI publicó esta semana cientos de supuestas soluciones a algunos de los problemas matemáticos más difíciles del mundo, la empresa dijo que había consultado a un grupo asesor de matemáticos destacados para evitar el tipo de controversia que siguió a un caso anterior en el que uno de sus modelos resolvió un problema matemático de larga data. Pero OpenAI no cumplió con los propios estándares de ese grupo, especialmente en cuanto a garantizar que los humanos realmente entiendan los resultados, una preocupación que se agudizó tras un nuevo artículo que documenta brechas entre las versiones en lenguaje natural y formal de la solución a un problema matemático de un millón de dólares que los modelos de OpenAI supuestamente resolvieron.

El Grupo Asesor sobre Matemáticas e Inteligencia Artificial (AGMAI, por sus siglas en inglés), alojado en el Instituto de Estudios Avanzados de la Universidad de Princeton y compuesto por nueve investigadores destacados de instituciones de todo el mundo, publicó pautas para los laboratorios de IA de frontera que resuelven problemas matemáticos a finales de septiembre. En respuesta a las últimas pruebas de OpenAI, AGMAI dijo que, en última instancia, le corresponde a la comunidad matemática evaluar en qué medida se siguieron sus recomendaciones, aunque su primera solicitud fue que los laboratorios dejaran de probar problemas matemáticos avanzados en modelos propietarios, y el comunicado de OpenAI afirma explícitamente que evaluó sus modelos propietarios usando problemas de investigación abiertos.

OpenAI siguió algunos de los principios de AGMAI, incluidos publicar los resultados rápidamente y explicar cómo los modelos llegaron a sus conclusiones, pero no todos. Solo 10 de los 719 manuscritos que publicó incluyeron la cadena de razonamiento del modelo, y solo el 42% de las pruebas publicadas habían sido formalizadas, como recomienda AGMAI para cualquier prueba que la gente no entienda. Sigue sin estar claro si OpenAI está asumiendo la responsabilidad de garantizar que la comprensión humana llegue después, como exigen los principios de AGMAI; el grupo sugirió que OpenAI ayude a financiar a los matemáticos necesarios para que sus soluciones tengan sentido.

“Los problemas están siendo resueltos de forma autónoma por quienes redactan las instrucciones para la IA, que no tienen interés en el campo en general una vez que su objetivo inicial está ‘resuelto’, y que no entienden el resultado de la IA lo suficiente como para responder preguntas sobre él, dar charlas o interactuar de otra manera con el resto del campo”, escribió el matemático Terence Tao, un crítico frecuente del enfoque de OpenAI, en redes sociales tras la publicación.

Esa preocupación se refuerza con un artículo aparte de matemáticos de la Universidad de Cambridge y el King’s College de Londres. Los modelos de IA que resuelven un problema matemático suelen producir primero una explicación en lenguaje natural y luego intentan traducirla a Lean, un lenguaje de programación que en teoría verifica una prueba al compilarla como código. El artículo identifica al menos dos discrepancias entre la prueba en lenguaje natural y el código Lean detrás de la solución que ofreció OpenAI a un problema derivado de las ecuaciones de Navier-Stokes, que describen el comportamiento de los fluidos. Las discrepancias no necesariamente invalidan ninguna de las dos versiones, señalan los autores, pero plantean dudas sobre confiar en que los modelos formalicen sus propias pruebas sin revisión humana, una brecha que AGMAI intentó cerrar al pedir a los laboratorios metadatos que vinculen las pruebas en lenguaje natural y formales, algo que OpenAI no proporcionó.

Los matemáticos dicen que cuando los humanos descubren nuevos resultados, asumen la responsabilidad de estos, interactuando con el campo mediante artículos, charlas y seminarios de maneras que profundizan la comprensión y abren la puerta a nuevas aplicaciones. La profesora de matemáticas de Harvard Melanie Wood dijo que, en el momento en que se publican estos resultados, por lo general todavía no existe comprensión humana de ellos, lo que significa que el verdadero trabajo recién comienza después.

Por qué importa

El cumplimiento incompleto de OpenAI con las pautas de AGMAI eleva las apuestas para las futuras pruebas atribuidas a la IA: cuánto escrute la comunidad matemática estas afirmaciones determinará si se convierten en aportes verificados al campo o en una fuente recurrente de resultados sin verificar y poco comprendidos.