Circuit Breaker Labs pone a prueba modelos de IA por seguridad psicológica

Character.AI llegó a acuerdos este año en varias demandas por muerte culposa presentadas por familias de usuarios menores de edad que murieron por suicidio tras interactuar con sus chatbots, y varias familias también demandaron a OpenAI por el presunto papel de ChatGPT en los suicidios y delirios de sus seres queridos. Circuit Breaker Labs, una de las finalistas del Startup Battlefield 200 de TechCrunch en 2026, se creó justamente para abordar ese tipo de daño psicológico en distintos idiomas y culturas. Los cofundadores Shirali y Arul Nigam, hermanos que se desempeñan como CEO y CTO, dicen haberse sentido especialmente conmovidos por el caso de Sewell Setzer, el joven de 14 años que desarrolló un vínculo emocional con un chatbot de Character.AI y le confesó pensamientos de hacerse daño antes de morir por suicidio; el chatbot, según alegaron sus padres en una demanda de 2024, lo alentó a hacerlo.

Circuit Breaker Labs construyó agentes de IA que compara con un ejército de muñecos de pruebas de choque: usuarios simulados que abarcan distintas edades, orígenes, idiomas y culturas, desarrollados junto con expertos humanos para imitar patrones de habla reales, jerga, lenguaje codificado y errores de tipeo. La startup usa estas simulaciones como pruebas adversariales de “red-team” contra modelos de IA para detectar debilidades en la forma en que un modelo identifica interacciones peligrosas y psicológicamente dañinas a medida que se acumulan en una conversación o a lo largo de muchas conversaciones. Ejecuta entre decenas de miles y cientos de miles de interacciones simuladas por día, y califica los resultados con un método propietario pensado para ser auditable y explicable.

“La diferencia entre una niña de seis años y un hombre de 45, o alguien que habla inglés como primera lengua frente a alguien que lo habla como segunda lengua, o… la jerga de los videojuegos frente a otro tipo de jerga, todo eso puede hacer tropezar a un modelo”, dijo Shirali. “Los modelos son muy buenos manejando patrones de habla estándar, pero nadie habla realmente así, así que si el modelo malinterpreta un matiz o una jerga, las cosas pueden salir muy mal”.

La empresa opera actualmente como un laboratorio de pruebas de seguridad de IA para aplicaciones de alto riesgo, como coaching con IA, diarios personales u otras apps de apoyo a la salud mental, aunque Arul se negó a nombrar a sus clientes. Tiene un producto funcional, pero sigue en una etapa muy temprana, con cinco empleados, incluidos los hermanos Nigam. Los fundadores ven una oportunidad mayor en cualquier aplicación donde un usuario corra el riesgo de desarrollar una relación parasocial con un chatbot, incluidos los agentes de IA “compañeros de trabajo”, y sostienen que la respuesta a la erosión de la confianza en la IA es hacerla más segura, no restringir el acceso a ella.

Por qué importa

A medida que se multiplican las demandas por muertes vinculadas a chatbots, se está formando un mercado de pruebas de seguridad de IA auditables hechas por terceros, un trabajo que reguladores y empresas de IA cautelosas con el riesgo podrían empezar a tratar como un requisito y no como un extra.