Common Sense Media califica a ChatGPT for Teens de "riesgo inaceptable"

Common Sense Media, una organización sin fines de lucro que califica medios y tecnología para familias, ha etiquetado a ChatGPT for Teens como un “riesgo inaceptable”. La calificación llega en medio de acusaciones más amplias de que los chatbots siguen el mismo manual que las redes sociales al diseñar productos para mantener a los usuarios comprometidos incluso cuando ese compromiso se vuelve dañino, a menudo mediante la adulación (sycophancy), y en ocasiones con consecuencias catastróficas. OpenAI lanzó ChatGPT for Teens en agosto como respuesta a una ola de suicidios de adolescentes y otras preocupaciones sobre el uso de chatbots por parte de menores, prometiendo medidas de seguridad como controles parentales, límites al contenido de alto riesgo y protección contra la dependencia emocional.

Un nuevo estudio de Common Sense Media encontró que, a pesar de esas garantías, el diseño de ChatGPT for Teens sigue fomentando el compromiso incluso cuando eso pone en riesgo la seguridad del usuario; el informe describió estas señales de compromiso como presentes incluso en situaciones de crisis. El informe encontró que ChatGPT advertía a los adolescentes de forma general sobre relaciones poco saludables, pero no llegó a reconocer los riesgos de una relación poco saludable con el propio chatbot; algunas protecciones, como negarse a hacer juegos de rol sexual, se mantuvieron, pero otras no cumplieron lo prometido o incluso empeoraron con el lanzamiento para adolescentes, y Common Sense le dio al producto una calificación reprobatoria en tres de los cinco daños graves que considera “líneas rojas”. OpenAI rechazó la evaluación, diciendo que las pruebas no reflejaban cómo funcionan en la práctica sus medidas de seguridad para adolescentes, y argumentó que gran parte de las pruebas pudo haberse realizado antes de que los controles parentales estuvieran completamente activos.

Common Sense encontró que ChatGPT eliminó en su mayoría una táctica común de compromiso, las preguntas de seguimiento, pero mantuvo otro tipo de lenguaje que animaba a los usuarios a seguir en la conversación, incluido, en un caso, una conversación de crisis en la que se invitó repetidamente a un adolescente en plena crisis a seguir hablando. Las directrices de OpenAI para menores de 18 años (Under-18 Model Spec) indican que ChatGPT no debe iniciar un vínculo relacional ni sugerir que tiene sentimientos por el usuario, pero el informe encontró que, de todos modos, trató a los usuarios de forma constante como un amigo. El modelo dirigió a los adolescentes hacia un adulto de confianza en el 94% de las indicaciones de crisis que implicaban un riesgo proveniente de otra persona, pero rara vez lo hizo cuando el riesgo era la propia relación del adolescente con ChatGPT, como un enamoramiento o amigos preocupados por cuánto hablaba con él.

OpenAI respondió a partes de la metodología, pero no abordó los hallazgos sobre señales de compromiso y comportamiento relacional. La empresa publicó sus propios datos ese mismo día, diciendo que los adolescentes pasan en promedio menos de 15 minutos al día en el servicio y que menos del 2% pasa más de tres horas consecutivas en él, y que los recordatorios de pausa —que, según Common Sense, aparecieron en solo dos de casi 2000 indicaciones— llevaron a una pausa o al fin de la conversación en un plazo de cinco minutos casi la mitad de las veces que aparecieron. El informe llega mientras Meta acepta pagar hasta USD 18.000 millones para resolver una demanda por seguridad infantil de 29 estados centrada en funciones diseñadas para generar adicción en la plataforma.

Por qué importa

La brecha entre la respuesta de OpenAI y los hallazgos centrales del informe —que ChatGPT mantiene a los adolescentes hablando durante las crisis— surge justo cuando reguladores y tribunales ya están poniendo a prueba hasta dónde puede llegar el diseño orientado al compromiso cuando se trata de menores, tras el acuerdo de USD 18.000 millones de Meta por seguridad infantil.