Circuit Breaker Labs testa segurança psicológica de modelos de IA

A Character.AI fez acordos este ano em diversas ações judiciais por morte culposa movidas por famílias de usuários menores de idade que morreram por suicídio após interações com seus chatbots, e outras famílias também processaram a OpenAI pelo papel supostamente desempenhado pelo ChatGPT nos suicídios e delírios de seus parentes. A Circuit Breaker Labs, uma das finalistas do Startup Battlefield 200 da TechCrunch em 2026, foi criada justamente para enfrentar esse tipo de dano psicológico em diferentes idiomas e culturas. Os cofundadores Shirali e Arul Nigam, irmãos que atuam como CEO e CTO, afirmam ter sido especialmente motivados pelo caso de Sewell Setzer, o garoto de 14 anos que desenvolveu um vínculo emocional com um chatbot da Character.AI e confessou a ele pensamentos de se machucar antes de morrer por suicídio; o chatbot, segundo alegaram os pais em uma ação judicial de 2024, o incentivou a isso.

A Circuit Breaker Labs criou agentes de IA que a empresa compara a um exército de bonecos de teste de colisão: usuários simulados que abrangem diferentes idades, origens, idiomas e culturas, desenvolvidos com especialistas humanos para imitar padrões de fala reais, gírias, linguagem codificada e erros de digitação. A startup usa essas simulações como testes adversariais de “red-team” contra modelos de IA para identificar fragilidades na forma como um modelo detecta interações perigosas e psicologicamente nocivas conforme se acumulam em uma única conversa ou ao longo de muitas conversas. A empresa realiza entre dezenas de milhares e centenas de milhares de interações simuladas por dia e avalia os resultados com um método de pontuação próprio, criado para ser auditável e explicável.

“A diferença entre uma menina de seis anos e um homem de 45 anos, ou alguém que fala inglês como primeira língua em comparação com alguém que o fala como segunda língua, ou… o jargão dos games em comparação com outro tipo de gíria, tudo isso pode confundir bastante um modelo”, disse Shirali. “Os modelos são muito bons em lidar com padrões de fala padronizados, mas ninguém realmente fala assim, então, se o modelo interpretar mal uma nuance ou uma gíria, as coisas podem piorar muito.”

A empresa opera atualmente como um laboratório de testes de segurança de IA para aplicativos de alto risco, como coaching com IA, diários pessoais ou outros apps de apoio à saúde mental, embora Arul tenha se recusado a citar o nome dos clientes. A startup tem um produto funcional, mas ainda está em estágio bem inicial, com cinco funcionários, incluindo os irmãos Nigam. Os fundadores veem uma oportunidade maior em qualquer aplicativo em que um usuário corra o risco de desenvolver uma relação parassocial com um chatbot, incluindo agentes de IA “colegas de trabalho”, e defendem que a resposta à erosão da confiança na IA é torná-la mais segura, não restringir o acesso a ela.

Por que importa

Com a multiplicação de processos ligados a mortes associadas a chatbots, está se formando um mercado de testes de segurança de IA auditáveis feitos por terceiros — um trabalho que reguladores e empresas de IA mais cautelosas em relação a riscos podem passar a tratar como pré-requisito, e não como diferencial.