Anthropic desarrolla una prueba criptográfica de qué modelo de IA generó una respuesta

Anthropic detalló el proyecto, llamado FlashProve, en una publicación de blog difundida el martes. El sistema busca ofrecer lo que los investigadores llaman “inferencia demostrable”: una garantía matemática de que un resultado específico provino de un modelo específico, de modo que un usuario pueda confirmar que la respuesta que recibió realmente vino del modelo que cree que la generó. Los investigadores lo comparan con una firma criptográfica de correo electrónico: una manera de que quien recibe un resultado de IA confirme su origen, resistente incluso ante un laboratorio de IA que intente disfrazar uno de sus propios modelos como si fuera otro.

Los investigadores señalan varios usos prácticos. FlashProve podría impedir que una empresa de IA sustituya en silencio un modelo más barato para reducir costos, o uno más caro para inflar sus resultados de referencia, sin que los clientes se enteren. También podría permitir que terceros verifiquen afirmaciones sobre qué modelo realizó una tarea; la publicación cita como ejemplo a un desarrollador que afirma que una biblioteca de software fue analizada por un modelo de ciberseguridad de frontera, o a una empresa que asegura que su plan de negocios fue revisado por un modelo determinado, afirmaciones que hoy un usuario no tiene forma de comprobar.

A nivel técnico, el sistema exige que los laboratorios de IA publiquen una “huella” criptográfica de cada modelo que lanzan, que luego pueda cotejarse con resultados específicos. De manera crucial, esas huellas no revelarían los pesos del modelo —los parámetros internos que desarrolladores cerrados como Anthropic y OpenAI tratan como secretos comerciales—, de modo que los laboratorios podrían adoptar el esquema sin renunciar a lo que consideran su activo más valioso. El diseño también está pensado para ser lo bastante ligero como para verificarse en un dispositivo local.

Anthropic publicó en GitHub una especificación técnica detallada y código funcional para partes del sistema, bajo una licencia de código abierto. Los investigadores describen el trabajo como inconcluso: “Esta publicación de investigación busca compartir un avance intermedio, no una agenda de investigación terminada”, escribieron, y añadieron que esperan que otros se basen en ella. Anthropic dijo que no tiene planes actuales de implementar FlashProve por su cuenta, y la publicación tampoco menciona a ningún otro laboratorio que se haya comprometido a usarlo.

Por qué importa

Si los laboratorios llegaran a adoptar algo como FlashProve, daría a empresas y reguladores una manera de auditar las afirmaciones sobre modelos de IA que hoy dependen por completo de la confianza en el proveedor, una brecha que importa cada vez más a medida que las compañías construyen procesos de seguridad, cumplimiento y finanzas sobre las capacidades que ciertos modelos afirman tener.