IA y modelos
Un artículo de Anthropic ofrece un primer vistazo a una IA que mejora su propio entrenamiento de alineación
Un nuevo artículo de un investigador de Anthropic muestra sistemas de IA automatizados mejorando de forma confiable el desempeño de un modelo en 10 pruebas de referencia de alineación, ofreciendo un primer vistazo a la investigación sobre IA autosuperadora.
Entrenar modelos de IA con otros modelos de IA se ha convertido en un objetivo popular entre los laboratorios de IA, y un investigador del programa de becarios de Anthropic ofreció ahora un primer vistazo de cómo podría verse esto en la práctica. Anthropic publicó el viernes un artículo titulado “Automated Researchers Can Reliably Mitigate Alignment Failures” (“Los investigadores automatizados pueden mitigar de forma confiable las fallas de alineación”), que detalla cómo los sistemas de IA podrían mejorar de forma confiable el desempeño de un modelo en un conjunto de pruebas de referencia de alineación. Con 10 pruebas dirigidas a comportamientos desalineados específicos, los sistemas automatizados mejoraron el desempeño en cada una sin degradar el desempeño general.
Liderado por el becario de Anthropic Chen Yueh-Han, el sistema replica gran parte del proceso de investigación tradicional: cada sistema automatizado busca en la literatura disponible, propone un método y entrena al modelo con ese método durante 30 minutos, mejorando gradualmente en la prueba de referencia a lo largo de varias iteraciones, mientras que los métodos efectivos se conservan y los ineficaces se descartan. Eso le permite al sistema operar de forma rápida y a gran escala. “En general, estos resultados ofrecen evidencia temprana de que el post-entrenamiento automatizado de alineación podría volverse práctico en el corto plazo”, indica el artículo.
El artículo enmarca explícitamente el trabajo como un paso hacia la autosuperación recursiva, que muchos consideran el próximo hito importante en el avance de la IA, y plantea la posibilidad de que, si los modelos pueden mejorar su propio entrenamiento de alineación, eventualmente podrían mejorar las prácticas de entrenamiento de forma más amplia, lo que podría dejar obsoletos a los investigadores humanos de IA. El artículo compara directamente su sistema de Investigador Automatizado de Alineación (AAR, por sus siglas en inglés) con investigadores humanos, señalando que “el mejor método AAR supera lo que proponen humanos experimentados, en promedio dentro de seis horas”, y que “las direcciones de investigación guiadas por humanos no generan un mejor desempeño”. También incluye una comparación de costos: un AAR cuesta aproximadamente USD 4 por hora en inferencia de API, frente a los USD 150 por hora que Anthropic paga a sus investigadores humanos.
El artículo sí señala limitaciones, incluido que el sistema automatizado solo funciona en la medida en que las pruebas de referencia reflejen realmente los objetivos reales de alineación, y que queda un trabajo considerable por hacer para establecer y mantener esas pruebas y la literatura de investigación de la que se nutren los sistemas automatizados.
Por qué importa
Si los sistemas automatizados pueden superar de forma confiable a los investigadores humanos en trabajo de alineación a una fracción del costo, esto podría transformar cómo los laboratorios de IA dotan de personal y financian la investigación de seguridad destinada a mantener bajo control a modelos cada vez más capaces.