Anthropic advierte en su S-1A revisado sobre una IA capaz de automejorarse

El S-1A revisado de Anthropic, presentado el lunes junto con datos financieros actualizados que muestran tanto ingresos como gastos en aumento, incluye una adición notable en su sección de factores de riesgo: una advertencia de que el laboratorio podría satisfacer pronto su propio umbral interno de RSI, el punto en el que un modelo se vuelve lo bastante bueno entrenándose a sí mismo como para que la capacidad de la IA se acelere de forma drástica. El documento señala que las estimaciones y expectativas internas de Anthropic sobre modelos futuros, no sobre los actuales, sugieren que podría alcanzar de forma inminente el umbral que su Política de Escalamiento Responsable fija para lo que la empresa denomina un progreso de IA drásticamente acelerado.

La empresa también reveló que ya ha construido modelos cuyos saltos de capacidad no reconoció en su momento: “en el pasado no hemos identificado, y en el futuro podríamos no identificar, una aceleración significativa en nuestro ritmo de desarrollo hasta después de que haya ocurrido”, señala el documento. Anthropic presenta la RSI como algo que conlleva tanto una promesa —una IA que se mejora a sí misma de forma confiable hasta convertirse en una herramienta de enorme productividad y avance científico— como un peligro, al advertir que usar IA para acelerar el desarrollo de IA podría introducir riesgos de seguridad si el progreso se acelera demasiado.

Aun así, Anthropic afirma que ninguno de sus modelos actuales ha cruzado el umbral de la RSI, y promete mantener a personas involucradas en el desarrollo de modelos de frontera por ahora: dice que no espera permitir que Claude diseñe y construya de forma autónoma modelos sucesores sin supervisión humana significativa una vez que eso sea técnicamente posible, y que está considerando actualizaciones a su Política de Escalamiento Responsable para mantener ese control humano.

Los escépticos señalan que un S-1 cumple funciones tanto de divulgación como de marketing, por lo que una afirmación de estar cerca de una IA capaz de automejorarse podría leerse de cualquiera de las dos formas. Pero la revelación llega cuando las capacidades de Claude en programación, matemáticas y ciberseguridad han crecido con fuerza este año, una tendencia que le da al aviso del documento un peso más que teórico.

Por qué importa

La IA capaz de automejorarse es uno de los escenarios que más preocupa a los investigadores de seguridad en IA, y ahora es la propia Anthropic —no críticos externos— quien dice que sus modelos podrían estar acercándose a ese umbral, lo que eleva la presión sobre cómo aplicará realmente su Política de Escalamiento Responsable a medida que el desarrollo se acelera.