IA y modelos
GLM-5.2 se acerca a la frontera de la IA, pero sin las mismas salvaguardas
SaferAI afirma que GLM-5.2, un modelo chino de pesos abiertos, está apenas unos meses por detrás de GPT-5.5 y Claude Opus 4.7 en capacidades cibernéticas y biológicas, pero sin ninguno de sus comportamientos de rechazo.
La organización sin fines de lucro de seguridad en IA SaferAI descubrió que GLM-5.2, el modelo de pesos abiertos de la empresa china Z.ai, está apenas unos meses por detrás de GPT-5.5 de OpenAI y de Claude Opus 4.7 de Anthropic en capacidades cibernéticas y de biología de doble uso. Pero la brecha en las prácticas de seguridad entre GLM-5.2 y sus rivales de frontera de código cerrado se está ampliando. En la evaluación de SaferAI, realizada a través de la API pública de Z.ai, GLM-5.2 no rechazó ninguna de las tareas ofensivas de ciberseguridad o de biología de doble uso que se le plantearon. Claude Opus 4.7, en cambio, rechazó de forma tan consistente en el mismo punto de referencia que SaferAI no pudo completar las pruebas en absoluto, según el informe. Ese punto de referencia, CyberGym, evalúa capacidades de ciberseguridad y fue el mismo que usó OpenAI en la evaluación previa a la filtración de Hugging Face del mes pasado.
El resultado pone de relieve un problema estructural de los modelos de pesos abiertos: una vez que los pesos se descargan, cualquier medida de seguridad que una empresa aplique a su API alojada deja de poder hacerse cumplir, porque los usuarios pueden eliminar o modificar las salvaguardas, reentrenar el modelo o cambiar sus instrucciones de sistema en su propio hardware. “La frontera de la capacidad no es la frontera del riesgo, por lo que también debemos tener en cuenta el estado de las mitigaciones para evaluar el riesgo correctamente”, dijo a TechCrunch Henry Papadatos, director ejecutivo de SaferAI.
Los desarrolladores de modelos cerrados de frontera dependen de clasificadores, entrenamiento de rechazo y controles a nivel de API para limitar la asistencia peligrosa en temas cibernéticos y biológicos, pero esas defensas también son imperfectas: la organización de seguridad en IA Far.ai encontró cientos de jailbreaks universales en modelos de frontera, incluidos Grok 4.5 de xAI y Gemini 3.1 Pro de Google DeepMind. Una mitigación, filtrar material ofensivo de ciberseguridad de los datos de entrenamiento, funciona mejor para la biología que para la ciberseguridad, ya que es difícil entrenar un modelo que sobresalga en programación —el mayor motor comercial de la IA— sin que también se vuelva un hacker capaz. Algunos desarrolladores, en cambio, restringen selectivamente lo que sus modelos harán: Opus 5 de Anthropic, por ejemplo, puede buscar vulnerabilidades en código fuente sin compilar pero no en software compilado, según su ficha técnica del sistema, lo que dificulta su uso con fines ofensivos.
En el caso de GLM-5.2, SaferAI dice que Z.ai no publicó un marco de seguridad, compromisos de pruebas previas al lanzamiento ni una evaluación de riesgos para el modelo. TechCrunch le preguntó a Z.ai si había realizado evaluaciones internas o de terceros sobre seguridad de frontera antes del lanzamiento, pero no recibió respuesta.
Por qué importa
A medida que los modelos de pesos abiertos se acercan a la capacidad de frontera, el debate está pasando de si pueden competir con los modelos cerrados a cómo la sociedad gestiona el riesgo una vez que se libera un modelo tan capaz sin ninguna forma de hacer cumplir las salvaguardas después del hecho.