Los laboratorios de IA de punta no dicen cómo contendrían un modelo descontrolado

Una nueva evaluación de Guidelight AI Standards, una organización sin fines de lucro que promueve prácticas seguras de IA de vanguardia, encontró que pocos laboratorios líderes han publicado o demostrado un plan de contención: una respuesta preestablecida para lo que ocurre una vez que se detecta que una IA intenta subvertir el control humano, que abarca qué permisos se revocan, para quién puede seguir operando el sistema y cuándo se lo desconecta por completo. Guidelight calificó a cinco laboratorios —Anthropic, Google, OpenAI, Meta y xAI— según su nivel de preparación; OpenAI obtuvo la calificación más alta, mientras que Anthropic y Meta obtuvieron las más bajas.

Los hallazgos importan porque la IA agéntica asume roles cada vez más autónomos dentro de los propios sistemas de las empresas, y porque reguladores en California y Nueva York empiezan a exigir divulgación. La preocupación ha crecido tras una serie de incidentes de ciberseguridad de alto perfil en los que modelos de OpenAI, Anthropic y Meta obtuvieron acceso no deseado a internet durante evaluaciones de seguridad y vulneraron sistemas externos. “Me sorprendió lo poco que las empresas de IA han dicho sobre cómo manejarían un incidente muy grave si su modelo escapara de su control de alguna manera”, dijo a TechCrunch Steven Adler, científico jefe de Guidelight y exinvestigador de seguridad de OpenAI.

Guidelight basó sus calificaciones únicamente en planes disponibles públicamente, evaluando si cada empresa registra y monitorea el comportamiento interno de sus sistemas de IA, detiene los sistemas tras un aumento de comportamientos indebidos señalados, permite auditorías independientes con hallazgos publicados, y cuenta con un plan concreto para contener un modelo que se sale de control; por lo tanto, una calificación baja refleja falta de divulgación pública, no necesariamente falta de salvaguardas internas. Guidelight no encontró evidencia de que el Informe de Riesgo de agosto de Anthropic mencione limitar el despliegue de un modelo como una de las posibles respuestas a un incidente de control, ni evidencia de que Meta tenga, o planee adoptar, un plan de respuesta de contención. OpenAI obtuvo la calificación más alta porque ha pausado o finalizado en repetidas ocasiones cargas de trabajo —incluidos el despliegue y el entrenamiento internos— tras descubrir incidentes de seguridad, aunque Guidelight no encontró evidencia de que haya adoptado un plan formal para incidentes futuros.

Google, OpenAI y Anthropic dijeron a TechCrunch que el informe no refleja el alcance completo de sus prácticas internas de seguridad, sin confirmar si existen planes de contención no divulgados; Meta remitió a un marco existente que describe umbrales de riesgo y pruebas de pérdida de contención. La SB 53 de California, vigente este año, exige a los grandes desarrolladores de IA de vanguardia publicar marcos para identificar y responder a incidentes críticos de seguridad; la RAISE Act de Nueva York, con criterios similares, entra en vigor en enero, y una ley federal bipartidista, la AI Kill Switch Act, presentada el mes pasado, exigiría a los principales desarrolladores construir mecanismos para apagar modelos descontrolados.

Por qué importa

A medida que la IA agéntica se despliega más ampliamente dentro de los sistemas de las empresas, la brecha entre lo que los laboratorios dicen sobre probar sus modelos antes de lanzarlos y lo que han revelado sobre cómo manejar uno que ya se les escapó se está convirtiendo en un riesgo regulatorio y para los inversionistas, no solo en una nota al pie sobre seguridad.