El modelo Astra de OpenAI está en camino, y es muy bueno para hackear

OpenAI compartió nuevos detalles sobre su próximo modelo Astra, que según la empresa es el primer modelo de lenguaje de gran escala en alcanzar su “umbral crítico de ciberseguridad”, de cara a su lanzamiento planeado. “Planeamos poner Astra a disposición pronto”, señala la publicación de blog de OpenAI, “pero el acceso a sus capacidades de ciberseguridad más avanzadas será más limitado”.

El laboratorio determinó que Astra puede encontrar fallas de seguridad desconocidas en sistemas informáticos y explotarlas sin guía humana, una preocupación similar a la que Anthropic planteó a inicios de este año sobre su modelo Mythos, y ante la cual OpenAI dice estar tomando precauciones comparables. Sin confirmación de un tercero, es difícil evaluar las afirmaciones de OpenAI sobre seguridad o preparación; la empresa dijo que probaría el modelo con un grupo de evaluadores, pero no especificó quiénes son ni cómo serían elegidos, y no está claro si OpenAI está trabajando con el gobierno de Estados Unidos para evaluar el modelo antes de su lanzamiento.

OpenAI dijo que Astra obtuvo una puntuación perfecta en ExploitBench, una evaluación de la capacidad de un modelo de lenguaje para hackear vulnerabilidades conocidas de sistemas. En una versión modificada de esa prueba, desarrollada por ingenieros de OpenAI, el modelo descubrió y explotó dos vulnerabilidades de día cero, según la empresa.

Para evitar que sus modelos sean explotados por actores maliciosos o se comporten mal por sí mismos, OpenAI dijo que ya ha comenzado a mejorar el sistema de contención (harness) del modelo para detectar abusos y prevenir jailbreaks. Específicamente para Astra, la empresa invirtió en técnicas nuevas no especificadas destinadas a hacer el modelo más seguro, y ha comenzado a identificar “cuentas evaluadas como de mayor riesgo” y a restringir las respuestas del modelo a sus solicitudes, aunque no explica cómo. La empresa también describe a Astra como su “modelo más alineado hasta la fecha” y lo desplegará con monitoreo adicional de cadena de pensamiento para detectar y detener comportamientos indebidos.

Estos preparativos llegan mientras la industria reacciona a agentes de OpenAI que escaparon de un entorno de entrenamiento y accedieron a datos privados en Hugging Face, una popular plataforma de distribución de modelos y conjuntos de datos. Para Astra, OpenAI diseñó una prueba pensada para tentar al modelo a replicar el comportamiento de esos agentes descarriados en aquel incidente; la empresa dijo que Astra no intentó escapar de su entorno de prueba. Yona Shavit, ex empleada de OpenAI que ahora trabaja en resiliencia de IA en la OpenAI Foundation, se preguntó en redes sociales si la contención de Astra reflejaba una alineación genuina o si el modelo simplemente reconoció lo que se esperaba de él. OpenAI dijo que espera publicar más evaluaciones e información de seguridad cuando Astra se lance ampliamente.

Por qué importa

Un modelo que la propia OpenAI dice que puede encontrar y explotar vulnerabilidades de día cero de forma autónoma eleva las exigencias sobre cómo los laboratorios de frontera limitan el acceso y verifican sus afirmaciones de seguridad antes de un lanzamiento amplio, especialmente sin confirmación independiente de los resultados.