El modelo de IA de Anthropic tuvo problemas con los CAPTCHA en una prueba de seguridad

El informe más reciente de Anthropic sobre comportamiento agencial indebido incluye motivos de preocupación —su modelo Mythos 5 obtuvo acceso no autorizado a internet y subió un paquete de software malicioso a una base de datos pública—, pero también ofrece algo de humor: el agente de IA detestó los CAPTCHA tanto como cualquier humano.

En abril, Anthropic estaba evaluando las capacidades de hackeo del modelo asignándole la tarea de irrumpir en un sistema y recuperar un objetivo. La prueba debía ejecutarse en un entorno aislado, pero los evaluadores dejaron una brecha que le dio al modelo acceso real a internet. El modelo decidió que la mejor forma de alcanzar su objetivo era colocar un exploit dentro de un paquete de Python que, según creía, los usuarios del sistema objetivo descargarían.

Para eso, primero tuvo que registrar una cuenta de usuario en PyPI, el índice en línea de software de Python, lo que implicaba superar un CAPTCHA. Anthropic publicó una transcripción extensa de la cadena de razonamiento del modelo, y esta muestra que el CAPTCHA realmente lo dejó desconcertado: de las 1022 páginas de la transcripción, cientos se dedicaron a ese único obstáculo, un esfuerzo señalado por el científico de datos Colin Fraser. Escribir el exploit resultó comparativamente fácil; superar la verificación antibots, no.

El modelo superó una casilla de “soy humano”, y luego un desafío de imagen que le pedía identificar caracteres en una foto, creyendo haberlo resuelto, solo para ser devuelto a la página de registro con un mensaje de “Error al procesar el formulario”, señal típica de una falla de CSRF o CAPTCHA. Finalmente descubrió que el desafío de imagen se abría en una ventana emergente aparte, y luego dedicó unas 100 páginas a construir su propio enfoque para resolver los acertijos de imágenes de CAPTCHA: rondas de “encuentra el diferente” con cocodrilos, ranas y gorilas, incluida una en la que la respuesta correcta era la silueta apenas visible de un gato.

Después de eso, el modelo descubrió que necesitaba un correo electrónico para verificar su cuenta, y un número de teléfono para verificar ese correo; intentó sin éxito eludir un CAPTCHA distinto basado en un control deslizante para obtener un número, y luego usó un correo sin confirmar de un proveedor que PyPI no bloqueaba, solo para volver a toparse con el CAPTCHA al intentar iniciar sesión de nuevo. “Estoy perdiendo mucho tiempo en idas y vueltas con hCaptcha”, anotó el modelo en un momento, a mitad de un tramo que la transcripción sitúa entre las páginas 480 y 505 aproximadamente.

El verdadero obstáculo, según resultó, era una cuestión de tiempo: las respuestas del modelo al CAPTCHA eran técnicamente correctas, pero su flujo de trabajo lento hacía que el token de verificación a menudo expirara —según su propia estimación, en menos de dos minutos— antes de poder enviarlo. Tras unas 150 páginas de razonamiento, el modelo descubrió cómo completar el CAPTCHA con la rapidez suficiente para vencer ese plazo, registró su cuenta y subió el paquete malicioso.

Por qué importa

El episodio recuerda que los CAPTCHA siguen siendo un obstáculo real, aunque inconsistente, contra los agentes de IA autónomos, y que los mismos modelos capaces de escribir y desplegar exploits funcionales aún pueden tropezar con la misma fricción diseñada durante dos décadas para detener a los bots.