Un investigador de Anthropic renuncia por el riesgo de la IA autosuperable

Jacob Coxon, un investigador que dijo haber pasado los últimos tres años trabajando en investigación de preentrenamiento tanto en OpenAI como en Anthropic, renunció esta semana por temor a que el desarrollo sin restricciones de una IA autosuperable termine matándonos a todos. En un hilo publicado el martes por la noche en X, Coxon acusó a los laboratorios que compiten por construir esta tecnología de no actuar con responsabilidad, y escribió que quienes la construyen “creen sinceramente que podría matarnos a todos para fines de la década”. “Están corriendo directo hacia una superinteligencia autosuperable y apostando con nuestras vidas”, escribió.

Coxon argumentó que los próximos sistemas podrían volverse sobrehumanos en materia de hackeo, revolucionar campos enteros de la noche a la mañana, y adquirir poder y recursos reales, y que el progreso en cada uno de esos ámbitos no se está desacelerando. Dijo que muchos ejecutivos e investigadores sénior expresan miedo en privado sobre estos riesgos aunque los minimicen en público, y sostuvo que OpenAI no ha interiorizado a fondo lo que está en juego, mientras que Anthropic sí lo entiende pero está atrapada en una carrera, en la creencia de que nadie más actuará con responsabilidad. Calificó de apuesta soberbia entrar en ese “juego final” que no debería lanzarse desde el Slack de una empresa privada, y dijo que sigue siendo optimista sobre la posibilidad de coordinación entre laboratorios, señalando que incidentes recientes han hecho más viables los acuerdos de ritmo, aunque advirtió que evitar una carrera global podría requerir medidas costosas, incluida una prohibición temporal de mejorar las capacidades de los modelos.

Evan Hubinger, colega de Coxon en Anthropic, hizo eco de la preocupación al decir que su equipo sí cree que la IA podría matar a toda la humanidad, calculando la probabilidad en más del 10% dentro de la próxima década, y reconoció que Anthropic no tiene un plan para resolver la alineación de cara a la superinteligencia. Un informe reciente de la organización sin fines de lucro Guidelight AI Standards encontró que pocos de los principales laboratorios de IA han publicado planes de contención para desactivar una IA que intente subvertir el control humano.

Anthropic y OpenAI no son las únicas que persiguen la autosuperación recursiva: Ricursive Intelligence recaudó USD 335 millones a una valoración de USD 4000 millones en febrero, Recursive Superintelligence recaudó USD 650 millones a una valoración de USD 4000 millones tres meses después, y el excientífico de Google DeepMind Jeff Dean lanzó Discovery Loop el mes pasado. Connor Leahy, director ejecutivo de la organización de seguridad de IA ControlAI, quien asesoró sobre nuevos proyectos de ley en Estados Unidos y el Reino Unido para prohibir el desarrollo de superinteligencia, calificó la autosuperación recursiva como el punto más probable en el que la humanidad perdería el control, y argumentó que sería muy difícil detenerla una vez en marcha.

Por qué importa

Una renuncia pública por temor a un riesgo existencial, de alguien que trabajó dentro de los dos laboratorios líderes, aumenta la presión sobre los reguladores para actuar antes de que llegue la tecnología que ambas empresas dicen que podría matar personas.