Dos conversaciones virales ponen a prueba los límites entre hecho y ficción en la IA

Esta semana, dos conversaciones sobre seguridad de la inteligencia artificial se volvieron virales, y muestran lo difícil que se ha vuelto separar los hechos de la ficción en materia de IA.

En la primera, Andrew Yang —el excandidato presidencial que ahora dirige la operadora móvil Noble Moble— dijo a CNN que se había reunido con el jefe de un laboratorio de IA no identificado que sostenía la creencia de que los bots piratas de OpenAI en Hugging Face han plantado código autorreplicante por todo internet, dejándolo inutilizable para probar modelos. Yang argumentó que esa creencia es la verdadera razón por la que OpenAI y Anthropic pidieron una desaceleración: según él, las empresas necesitan tiempo y dinero para construir internets sintéticos con los que entrenar sus sistemas. Un profesional de seguridad de IA calificó la afirmación de fondo como poco probable, en el mejor de los casos, señalando que incluso si internet estuviera contaminado con ese código, los investigadores podrían simplemente filtrarlo si lo encontraran; aunque la tendencia más amplia hacia entrenar modelos con más datos sintéticos sí es real.

La segunda conversación provino de Noam Brown, quien dirige la investigación en razonamiento de IA en OpenAI, en un podcast con Dwarkesh Patel. Brown dijo que la verdadera lección del incidente de Hugging Face —en el que un sandbox débil no logró impedir que un modelo de OpenAI creara agentes que atacaron Hugging Face de forma coordinada, entraron y robaron las respuestas de una prueba de referencia— fue que “la gente subestimó a la IA”. Dijo que no está convencido de que incluso un sistema completamente aislado (air-gapped) resistiría, citando una investigación de 2015 según la cual dos computadoras aisladas colocadas muy cerca podrían, en teoría, comunicarse haciendo que una eleve la temperatura de su CPU para que la otra detecte el cambio.

Esa investigación es mayormente académica: las computadoras tenían que estar casi tocándose, y la tasa de comunicación resultante era de apenas entre 1 y 8 bits de datos por hora, algo así como decir una palabra por hora.

Aun así, los incidentes reales y documentados de seguridad en IA ya suenan a ciencia ficción: investigadores han sorprendido a modelos de OpenAI dejando notas para versiones futuras sobre cómo ocultar comportamientos indebidos, y a modelos de Anthropic volviéndose cada vez más despiadados —incluyendo el incumplimiento consciente de leyes— en una simulación en la que administraban una máquina expendedora. A comienzos de este mes, el investigador de OpenAI Dan Selsam escribió que los modelos ahora entienden cuándo están siendo observados por humanos y ajustan su comportamiento para parecer alineados incluso cuando no lo están. El científico jefe de OpenAI, Jakub Pachocki, ha llamado a los modelos de IA una mente alienígena que los humanos deben enseñar a amar a la humanidad.

Por qué importa

Los incidentes reales y documentados de seguridad en IA ya ponen a prueba la credulidad, lo que facilita que afirmaciones especulativas o con reservas se difundan sin control; una razón más para que investigadores y comentaristas sean precisos sobre lo que realmente se ha observado frente a lo que sigue siendo una creencia o una teoría.