Nadella, de Microsoft, pide un 'freno de emergencia' para los modelos de IA

El CEO de Microsoft, Satya Nadella, se sumó al creciente coro de ejecutivos tecnológicos que opinan sobre cómo mejorar la seguridad de la IA. En una publicación del sábado por la mañana en X, sostuvo que es momento de dar un paso atrás y reevaluar la arquitectura de confianza que sustenta a los sistemas de IA.

Nadella escribió que las empresas no pueden tratar lo que él llamó «Superinteligencia» —el término que prefiere la administración Trump para referirse a la IA avanzada, en lugar del lenguaje más habitual de la industria— como un conjunto de cajas negras anidadas cuyas recomendaciones, respuestas y acciones simplemente se aceptan o rechazan en bloque.

En cambio, planteó un enfoque concreto. Propone separar el modelo subyacente del sistema que orquesta su funcionamiento, y trasladar los controles y las salvaguardas fuera del modelo mismo, en lugar de confiar en que el propio modelo vigile su comportamiento. Nadella también pidió que cada acción relevante del modelo quede registrada con evidencia a prueba de manipulaciones y legible para humanos, y que existan sistemas diseñados para que una persona autorizada pueda siempre pausar o apagar un modelo a mitad de tarea.

El supuesto de fondo, según el planteamiento de Nadella, es el de la desconfianza por diseño: un modelo debe tratarse como potencialmente comprometido y contenerse desde el principio. «Piénsenlo como un freno de emergencia», escribió.

La publicación de Nadella llega en un momento en que las principales empresas de IA reconocen cada vez más incidentes en los que, según parece, perdieron el control de sus propios modelos, y poco después de que el CEO de Anthropic, Dario Amodei, publicara un plan que pide un desarrollo de la IA más cauteloso.

Por qué importa

Nadella es uno de los ejecutivos más influyentes de la infraestructura de IA, y su llamado público a mecanismos de supervisión humana obligatorios indica que la contención —no solo la capacidad— se está volviendo una preocupación competitiva y reputacional para los mayores actores de la industria.