Safeworld sale del anonimato para evaluar la seguridad de robots con IA

Safeworld, una startup cofundada por el Dr. Ding Zhao —quien dirige el Safe AI Lab de Carnegie Mellon University—, el ejecutivo de startups Kyle Wong y el ingeniero de machine learning Simo Rachidi, salió del anonimato con una ronda semilla de más de USD 12 millones, liderada por Shine Capital y a16z Speedrun, con inversión adicional de Box Group, Carnegie Mellon University Endowment, Innovation Endeavors y SV Angel.

La empresa aborda un problema creado por el giro hacia la IA generativa en la robótica: un modelo de IA generativa que controla un robot se comporta de forma impredecible, a diferencia de los algoritmos tradicionales, lo que dificulta garantizar que un robot humanoide sea seguro. Zhao plantea el desafío de seguridad como dos problemas vinculados: evaluaciones probabilísticas avanzadas que permitan determinar el riesgo de un sistema inherentemente probabilístico, y la confianza necesaria para desplegar un robot. Jonathan Lai, socio de a16z Speedrun, dijo que la industria necesita un estándar de seguridad ahora, mientras los robots todavía se están diseñando y desplegando, en lugar de esperar a que empiecen a causar incidentes de seguridad en los hogares.

Safeworld evalúa el sistema de control de un robot dentro de simulaciones pobladas con modelos humanos realistas. Zhao sostiene que esto es más difícil para los robots que para los autos autónomos de empresas como Tesla y Wayve, porque los robots operan en entornos no estructurados donde cada instalación establece sus propias normas de seguridad. Wong dio el ejemplo de una esquina ciega en una fábrica: ¿qué distancia de frenado evita que un robot choque con un trabajador que carga cajas? Safeworld construye una réplica digital de esa esquina en un simulador como Genesis o MuJoCo, inserta una simulación del robot controlada por su software real, y ejecuta miles de escenarios de modelos humanos que se cruzan con él, incluidas personas que tropiezan y caen, ya que probar ese escenario repetidamente con un robot físico es en sí mismo difícil de organizar con seguridad.

Los fundadores creen que los fabricantes de robots querrán una validación de terceros más allá de sus propias herramientas internas, en parte para poder compartir hallazgos de seguridad con sus competidores sin exponer sistemas propietarios. “No nos preocupa el robot en el vacío, en la demostración”, dijo Zhao. “Nos preocupa el robot que se despliega a gran escala, con personas que posiblemente nunca han operado un robot”. Vishal Dugar, director de tecnología de Gritt Robotics —que construye sistemas de IA para robots que ayudan a instalar paneles fotovoltaicos en granjas solares de escala industrial—, se asoció con Safeworld. Dugar dijo que la seguridad no puede demostrarse solo con ecuaciones; necesariamente debe verificarse de forma empírica, dada la cantidad de posturas y apariencias distintas que presentan los humanos en un sitio de trabajo.

Todavía es pronto tanto para Safeworld como para la IA generativa en robótica, y la empresa aún no decide si venderá una plataforma a usuarios externos o funcionará como un servicio. Zhao prevé que Safeworld probablemente será la primera empresa rentable en este campo, ya que cualquier compañía que quiera desplegar un robot necesitará pagarle a alguien para gestionar su caso de seguridad.

Por qué importa

A medida que la IA generativa pasa de los chatbots a robots físicos que trabajan junto a personas, la validación de seguridad por parte de terceros podría volverse un requisito para su despliegue, lo que cambiaría la forma en que los fabricantes demuestran que sus máquinas son seguras: de certificaciones de ingeniería puntuales a evaluaciones estandarizadas y compartibles.