Forum AI, de Campbell Brown, apunta a la evaluación de IA de alto riesgo

Campbell Brown, exjefa de noticias de Meta, lanzó Forum AI, una startup de 17 meses con sede en Nueva York. La empresa recaudó USD 3 millones el otoño pasado en una ronda de financiación liderada por la firma de capital de riesgo Lerer Hippeau. Forum AI evalúa cómo funcionan los modelos fundacionales —grandes modelos de IA— en temas de alto riesgo como geopolítica, finanzas y contratación. Brown fundó la empresa tras darse cuenta, durante su tiempo en Meta, de que los chatbots públicos se convertirían en el canal principal de información a pesar de ser altamente poco fiables.

Para construir sus benchmarks, la startup recluta expertos humanos, incluidos Niall Ferguson, Fareed Zakaria, el exsecretario de Estado Tony Blinken, el expresidente de la Cámara de Representantes Kevin McCarthy y la exfuncionaria de ciberseguridad Anne Neuberger. Forum AI utiliza estos benchmarks diseñados por expertos para entrenar a jueces de IA, es decir, sistemas de evaluación automatizados. La startup tiene como objetivo que estos sistemas automatizados alcancen un consenso de aproximadamente el 90% con los expertos humanos, un umbral que Brown afirma que la empresa ya ha logrado alcanzar.

Según Brown, las empresas de modelos fundacionales están extremadamente enfocadas en la programación y las matemáticas, lo que deja a los temas de información complejos propensos a errores. Brown señaló: “Escuchas a los líderes de las grandes empresas tecnológicas decir: ‘Esta tecnología va a cambiar el mundo’, ‘te va a dejar sin trabajo’, ‘va a curar el cáncer’. Pero luego, para una persona normal que solo usa un chatbot para hacer preguntas básicas, siguen recibiendo mucha basura y respuestas incorrectas”. Más allá de las imprecisiones generales, las evaluaciones de Forum AI sobre los modelos fundacionales revelaron un “sesgo político de izquierda” en casi todos los modelos. Brown también citó que Gemini “extrae información de sitios web del Partido Comunista Chino” para historias que no tienen nada que ver con China. Desestimó el panorama actual de cumplimiento para la IA como “una broma”, señalando que los benchmarks estandarizados existentes y las auditorías de verificación no logran detectar casos críticos excepcionales.

Forum AI apuesta su negocio a la demanda empresarial de gestión de responsabilidad. Si bien convertir el interés en cumplimiento en ingresos consistentes sigue siendo un desafío, Brown cree que las empresas que utilizan IA para decisiones de alto riesgo como crédito, préstamos y contratación exigirán una precisión rigurosa para gestionar su responsabilidad. Esta presión comercial podría obligar a los desarrolladores de IA a priorizar la obtención de respuestas correctas por encima de simplemente optimizar para la interacción del usuario.

Por qué importa

Forum AI apuesta a que la demanda empresarial de gestión de responsabilidad —más que solo el interés del consumidor— obligará a las empresas de modelos fundacionales a priorizar la precisión sobre la interacción. Al utilizar expertos humanos para entrenar sistemas de evaluación automatizados, la startup busca establecer un estándar comercial para la fiabilidad de la IA en industrias de alto riesgo.