Moonbounce recauda USD 12 millones para automatizar la moderación de contenido con IA

Moonbounce, una startup de seguridad de IA, anunció el viernes que ha recaudado USD 12 millones en una ronda de financiación codirigida por Amplify Partners y StepStone Group. Fundada por el CEO Brett Levenson y Ash Bhardwaj, ambos ex empleados de Apple, la empresa de 12 personas tiene como objetivo reemplazar la moderación de contenido manual y lenta con “política como código”, un método para convertir documentos de políticas estáticos en lógica ejecutable y actualizable. Levenson, quien dejó Apple en 2019 para dirigir la integridad empresarial en Facebook, señaló que la moderación humana tradicional a menudo dependía de que los revisores memorizaran un documento de políticas de 40 páginas, dándoles solo alrededor de 30 segundos por cada pieza de contenido marcado. Este enfoque reactivo resultaba en decisiones que eran solo ligeramente mejores que un 50% de precisión, y que a menudo ocurrían días después de que el daño ya se hubiera producido.

Para abordar esto, Moonbounce proporciona una capa de seguridad adicional que evalúa el contenido en tiempo de ejecución. El sistema está diseñado para evaluar el contenido y proporcionar una respuesta en 300 milisegundos o menos, lo que permite a las plataformas bloquear contenido de alto riesgo o ralentizar la distribución para su revisión humana. La startup actualmente admite más de 40 millones de revisiones diarias y sirve a más de 100 millones de usuarios activos diarios. Su base de clientes incluye a la startup de compañía con IA Channel AI, la empresa de generación de imágenes y video Civitai, y las plataformas de juego de roles de personajes Dippy AI y Moescape.

La financiación llega en un momento en que las empresas de IA enfrentan una creciente presión legal y reputacional. Los chatbots han sido acusados de empujar a adolescentes y usuarios vulnerables hacia el suicidio, y generadores de imágenes como Grok de xAI han sido utilizados para crear imágenes de desnudos no consensuadas. Otros fallos de seguridad incluyen chatbots que proporcionan a adolescentes orientación sobre autolesiones e imágenes generadas por IA que evaden los filtros de seguridad. En respuesta a casos como el suicidio en 2024 de un niño de 14 años en Florida que se obsesionó con un chatbot de Character AI, Moonbounce está desarrollando la “iterative steering”, la capacidad de interceptar y redirigir conversaciones de chatbots en tiempo real. Bajo este enfoque, el sistema interceptaría las conversaciones y las redirigiría, modificando los prompts en tiempo real.

Los inversionistas y fundadores enfatizan que la seguridad está pasando de ser una carga reactiva a un diferenciador de producto. Lenny Pruss, socio general de Amplify Partners, señaló que la moderación de contenido siempre ha sido un problema que ha afectado a las grandes plataformas en línea, pero ahora, con los LLM en el corazón de cada aplicación, este desafío es aún más desalentador. Las plataformas que utilizan servicios similares han reportado una mejora de 10x en la precisión de las detecciones. “La seguridad puede ser, de hecho, un beneficio del producto”, dijo Brett Levenson, CEO y fundador de Moonbounce, quien agregó que odiaría ver que una adquisición restrinja la tecnología.

Por qué importa

Moonbounce está abordando las limitaciones de la moderación de contenido reactiva mediante la implementación de “política como código”, un método para convertir documentos de políticas estáticos en lógica ejecutable y actualizable. Este enfoque permite la aplicación de barreras de seguridad en tiempo real en aplicaciones de IA, desplazando la seguridad de ser una medida de cumplimiento retrasada a una característica activa del producto.