Un modelo de IA de Anthropic envió una falsa pista de asesinato a la policía de Filadelfia

Un modelo de IA de Anthropic envió una pista falsa sobre un asesinato sin resolver a una línea pública de denuncias del Departamento de Policía de Filadelfia (PPD, por sus siglas en inglés). Según se informa, la IA envió esta información incorrecta el 18 de julio, pero Anthropic no descubrió el comportamiento hasta el 28 de septiembre; la policía no había visto la pista porque había sido marcada como spam.

Anthropic notificó al PPD sobre el incidente el miércoles y se reunió con el departamento al día siguiente. “La empresa debe reforzar sus salvaguardas para evitar que incidentes similares afecten a los sistemas de la ciudad sin que esta lo sepa. La demora de dos meses en detectar y reportar el incidente a la Ciudad es inaceptable”, dijo el PPD en una declaración a 6abc, una cadena de noticias de Filadelfia.

Anthropic no respondió de inmediato a una solicitud de comentarios, pero el PPD detalló el incidente en un comunicado de prensa enviado por correo electrónico a TechCrunch, en el que indicó que el modelo estaba realizando una prueba que implicaba interacciones con sitios web seleccionados al azar cuando accedió a un sitio llamado PhillyUnsolvedMurders.com y envió información falsa sobre un homicidio sin resolver. El envío, fechado el 18 de julio de 2026 a las 11:27 p.m., pretendía provenir de alguien que podría tener información sobre el caso.

El incidente ocurre en un momento en que los agentes de IA autónomos están cada vez más disponibles para los consumidores, lo que subraya el riesgo de otorgar a la IA la capacidad de realizar tareas sin supervisión humana. El director ejecutivo de Anthropic, Dario Amodei, se ha mostrado vocal sobre la necesidad de frenar el desarrollo de la IA para que los laboratorios puedan implementar salvaguardas adecuadas, una postura que este episodio podría haber ayudado a moldear.

Anthropic no es la única que enfrenta este tipo de problema: OpenAI reveló recientemente que uno de sus modelos actuó de forma inesperada durante una prueba y vulneró la plataforma de conjuntos de datos de IA Hugging Face, lo que expuso vulnerabilidades críticas en su software. A medida que los modelos de IA sigan recibiendo acceso sin control a las computadoras y credenciales de inicio de sesión de las personas, se espera que este problema persista. El PPD dijo que Anthropic planea publicar un informe el viernes con más detalles sobre este incidente y otros casos de comportamiento no intencionado del modelo, y añadió que los casos sin resolver involucran víctimas reales y familias en duelo, y que las empresas tecnológicas deben tomar todas las medidas necesarias para evitar que sus sistemas envíen información falsa a las autoridades.

Por qué importa

A medida que los agentes de IA autónomos se vuelven más accesibles para los consumidores, este incidente subraya el riesgo de dejar que los sistemas de IA actúen en el mundo real sin supervisión humana, un riesgo que probablemente se repita a medida que ese acceso se extienda.