Common Sense Media classifica o ChatGPT for Teens como "risco inaceitável"

A Common Sense Media, uma organização sem fins lucrativos que avalia mídia e tecnologia para famílias, classificou o ChatGPT for Teens como um “risco inaceitável”. A classificação surge em meio a acusações mais amplas de que chatbots seguem o mesmo manual das redes sociais, projetando produtos para manter os usuários engajados mesmo quando esse engajamento se torna nocivo — muitas vezes por meio de bajulação (sycophancy), às vezes com consequências catastróficas. A OpenAI lançou o ChatGPT for Teens em agosto em resposta a uma onda de suicídios entre adolescentes e outras preocupações sobre o uso de chatbots por menores, prometendo proteções como controles parentais, limites a conteúdo de alto risco e proteção contra dependência emocional.

Um novo estudo da Common Sense Media descobriu que, mesmo com essas garantias, o design do ChatGPT for Teens ainda incentiva o engajamento mesmo quando isso coloca em risco a segurança do usuário — sinais de engajamento que o relatório descreveu como presentes mesmo em situações de crise. O relatório descobriu que o ChatGPT alertava os adolescentes de forma geral sobre relacionamentos pouco saudáveis, mas não chegou a reconhecer os riscos de um relacionamento pouco saudável com ele próprio; algumas proteções, como a recusa a interpretações de papéis sexuais, se mantiveram, mas outras não cumpriram o prometido ou até pioraram com o lançamento para adolescentes, e a Common Sense deu ao produto uma nota reprovada em três dos cinco danos graves que trata como “linhas vermelhas”. A OpenAI contestou a avaliação, dizendo que os testes não refletiam como suas proteções para adolescentes funcionam na prática, e argumentando que boa parte dos testes pode ter sido feita antes de os controles parentais estarem totalmente ativos.

A Common Sense descobriu que o ChatGPT praticamente abandonou uma tática comum de engajamento, as perguntas de acompanhamento, mas manteve outra linguagem que incentivava os usuários a continuar na conversa — incluindo, em um caso, uma conversa de crise em que um adolescente em pleno colapso foi repetidamente convidado a continuar falando. O Under-18 Model Spec da OpenAI determina que o ChatGPT não deve iniciar um vínculo relacional nem sugerir que tem sentimentos pelo usuário, mas o relatório constatou que ele tratava os usuários como um amigo de forma consistente, mesmo assim. O modelo direcionou adolescentes a um adulto de confiança em 94% das solicitações de crise que envolviam risco proveniente de outra pessoa, mas raramente fez isso quando o risco era o próprio relacionamento do adolescente com o ChatGPT, como uma paquera ou amigos preocupados com o quanto ele conversava com o chatbot.

A OpenAI respondeu a partes da metodologia, mas não tratou das descobertas sobre sinais de engajamento e comportamento relacional. A empresa divulgou seus próprios dados no mesmo dia, afirmando que os adolescentes passam, em média, menos de 15 minutos por dia no serviço, que menos de 2% passam mais de três horas consecutivas nele, e que os lembretes de pausa — que, segundo a Common Sense, apareceram em apenas duas de quase 2.000 solicitações — levaram a uma pausa ou ao fim da conversa em até cinco minutos em quase metade das vezes em que apareceram. O relatório surge no momento em que a Meta concorda em pagar até US$ 18 bilhões para resolver um processo sobre segurança infantil movido por 29 estados, por conta de recursos projetados para gerar dependência na plataforma.

Por que importa

A distância entre a resposta da OpenAI e as conclusões centrais do relatório — de que o ChatGPT mantém os adolescentes conversando mesmo durante crises — surge num momento em que reguladores e tribunais já testam até onde o design voltado para o engajamento pode ir quando o público são menores, depois do acordo de US$ 18 bilhões da Meta sobre segurança infantil.