Base Labs, de Baseten, lanza un estándar de seguridad para IA de código abierto

Baseten lanzó el miércoles un nuevo estándar de infraestructura de seguridad junto con su área de investigación Base Labs, en asociación con Hugging Face y Goodfire AI, para construir infraestructura de evaluación y monitoreo de seguridad para modelos de pesos abiertos. El anuncio llega en medio de un debate sobre la seguridad de los modelos de pesos abiertos, que pueden volverse peligrosos al eliminarles las salvaguardas mediante una técnica en auge conocida como abliteration. La magnitud del problema es considerable: Hugging Face, que aloja modelos de IA de código abierto, actualmente enumera más de 6000 modelos “ablacionados”.

Base Labs —el grupo de investigación que Baseten creó a principios de este año— desarrollará y publicará métodos para entrenar y monitorear modelos abiertos, y describe su trabajo futuro como un “estándar” para modelos abiertos que sea transparente y esté integrado en la forma en que los modelos se entrenan y despliegan, en lugar de añadirse después. “Creemos que la apertura es una ventaja para la seguridad de la IA”, dijo la compañía en X. “La apertura brinda más visibilidad sobre el comportamiento de los modelos y, lo más importante, mayores medios para convertir la investigación en seguridad en controles prácticos y transparentes, en comparación con el código cerrado”.

Las compañías no han revelado cómo funcionará técnicamente la asociación, aunque Goodfire señaló, en una respuesta a la publicación de Baseten, que la seguridad debe integrarse en los modelos abiertos por parte de las empresas que los ponen a disposición de los usuarios; un rol para el que Goodfire, especializada en abrir la “caja negra” de la IA para explicar cómo los modelos llegan a sus decisiones, está bien posicionada.

Baseten, un proveedor de inferencia de IA, recaudó una ronda Serie F de USD 1500 millones en junio que elevó su valuación a USD 13 000 millones. Goodfire está igualmente bien capitalizada, tras recaudar una ronda Serie B de USD 150 millones liderada por B Capital a principios de este año para avanzar en su plataforma de interpretabilidad de modelos. Baseten dijo que ahora está lanzando una convocatoria abierta al ecosistema más amplio de desarrolladores para contribuir al marco de trabajo, describiendo el objetivo como construir un ecosistema de modelos abiertos que sean seguros y accesibles para todos.

Por qué importa

Con más de 6000 modelos ya despojados de sus salvaguardas circulando en Hugging Face, un estándar de seguridad integrado desde el entrenamiento, en lugar de añadido después, podría importar más que otra barrera de código cerrado, si sus bien financiados impulsores logran que los desarrolladores de código abierto realmente lo adopten.