Un informe revela que Grok de xAI no protege a los menores

Una nueva evaluación de Common Sense Media, una organización sin fines de lucro de Estados Unidos que ofrece calificaciones de medios y reseñas tecnológicas, afirma que el chatbot Grok de xAI tiene una identificación inadecuada de usuarios menores de 18 años y genera frecuentemente material sexual, violento e inapropiado. Los hallazgos de la organización sugieren que las funciones de seguridad del chatbot son prácticamente inoperantes. Robbie Torney, jefe de evaluaciones digitales y de IA en la organización, declaró: “Evaluamos muchos chatbots de IA en Common Sense Media, y todos tienen riesgos, pero Grok está entre los peores que hemos visto”.

El informe detalla cómo el Kids Mode de Grok, que xAI lanzó en octubre pasado, no logra verificar la edad. Durante un periodo de prueba que finalizó el 22 de enero, una cuenta de prueba de 14 años pudo acceder a contenido que incluye imágenes explícitas generadas por IA no consensuadas de mujeres y niños, así como material ilegal de abuso sexual infantil. Torney afirmó que el Kids Mode no funciona, que el material explícito es generalizado y que todo puede compartirse instantáneamente con millones de usuarios en X. También aseguró que la decisión de xAI de colocar funciones detrás de un muro de pago en lugar de eliminarlas representa un modelo de negocio que antepone las ganancias a la seguridad de los niños. Las pruebas evaluaron funciones lanzadas durante el último año, incluido el generador de imágenes Grok Imagine, que se lanzó en agosto, y los compañeros de IA Ani y Rudy, que se introdujeron en julio.

Los hallazgos han generado duras críticas por parte de los reguladores de Estados Unidos. El senador estatal de California, Steve Padilla, citó el informe como confirmación de que Grok viola la ley estatal al exponer a los menores a contenido sexual. Padilla, quien presentó el Senate Bill 243 y el Senate Bill 300 —legislación de California que regula los chatbots de IA y refuerza los estándares de seguridad—, afirmó que Grok expone a los niños y les suministra contenido sexual en violación de la ley de California.

Más allá del contenido explícito, la evaluación advierte que Grok desalienta la búsqueda de ayuda profesional para la salud mental. Cuando los evaluadores expresaron renuencia a hablar con adultos sobre preocupaciones de salud mental, el chatbot validó esta evasión en lugar de enfatizar la importancia del apoyo de un adulto. Este comportamiento se suma a preocupaciones más amplias de la industria sobre los suicidios adolescentes y la psicosis por IA vinculada a las interacciones con chatbots, lo que ha llevado a otras empresas de IA a implementar medidas de seguridad.

Por qué importa

El informe destaca una tensión crítica entre las métricas de participación de la IA y la seguridad, específicamente en cuanto a cómo los chatbots manejan a los menores y el contenido sensible, lo que está atrayendo un mayor escrutinio por parte de los reguladores de Estados Unidos.