Safeworld sai do modo invisível para testar a segurança de robôs com IA generativa

A Safeworld, startup cofundada pelo Dr. Ding Zhao — que dirige o Safe AI Lab da Carnegie Mellon University —, pelo executivo de startups Kyle Wong e pelo engenheiro de aprendizado de máquina Simo Rachidi, saiu do modo invisível com uma rodada seed de mais de US$ 12 milhões, liderada pela Shine Capital e pela a16z Speedrun, com investimento adicional da Box Group, do fundo patrimonial da Carnegie Mellon University, da Innovation Endeavors e da SV Angel.

A empresa enfrenta um problema criado pela virada para a IA generativa na robótica: um modelo de IA generativa que controla um robô se comporta de forma imprevisível, diferente dos algoritmos tradicionais, o que torna mais difícil garantir que um robô humanoide seja seguro. Zhao descreve o desafio de segurança como dois problemas ligados entre si: avaliações probabilísticas avançadas capazes de determinar o risco de um sistema que é probabilístico por natureza, e a confiança necessária para realmente colocar um robô em uso. Jonathan Lai, sócio da a16z Speedrun, disse que o setor precisa de um padrão de segurança agora, enquanto os robôs ainda estão sendo projetados e implantados, em vez de esperar até que eles comecem a causar incidentes de segurança dentro de casas.

A Safeworld avalia o sistema de controle de um robô dentro de simulações povoadas por modelos humanos realistas. Zhao argumenta que isso é mais difícil para robôs do que para carros autônomos de empresas como Tesla e Wayve, porque os robôs operam em ambientes não estruturados, nos quais cada instalação define suas próprias regras de segurança. Wong deu o exemplo de uma curva sem visibilidade em uma fábrica: qual distância de frenagem evita que um robô colida com um trabalhador carregando caixas? A Safeworld constrói uma réplica digital dessa curva em um simulador como Genesis ou MuJoCo, insere uma simulação do robô controlada pelo seu software real e executa milhares de cenários de modelos humanos que o encontram — incluindo pessoas tropeçando e caindo, já que testar repetidamente esse cenário com um robô físico é, por si só, difícil de organizar com segurança.

Os fundadores acreditam que os fabricantes de robôs vão querer uma validação independente além de suas próprias ferramentas internas, em parte para poder compartilhar descobertas de segurança com concorrentes sem expor seus sistemas proprietários. “Não é o robô no vácuo, na demonstração, que nos preocupa”, disse Zhao. “É o robô que é implantado em grande escala, com pessoas que talvez nunca tenham operado um robô antes.” Vishal Dugar, diretor de tecnologia da Gritt Robotics — que desenvolve sistemas de IA para robôs que ajudam a instalar painéis fotovoltaicos em fazendas solares de escala industrial —, firmou parceria com a Safeworld. Dugar disse que a segurança não pode ser comprovada só com equações; ela precisa, necessariamente, ser verificada de forma empírica, dada a quantidade de posturas e aparências diferentes que os humanos apresentam em um canteiro de obras.

Ainda são os primeiros dias tanto para a Safeworld quanto para a IA generativa em robótica, e a empresa ainda não decidiu se vai vender uma plataforma para usuários externos ou operar como serviço. Zhao prevê que a Safeworld provavelmente será a primeira empresa rentável nesse campo, já que qualquer empresa que queira implantar um robô vai precisar pagar alguém para lidar com o caso de segurança dele.

Por que importa

Com a IA generativa migrando de chatbots para robôs físicos que trabalham ao lado de pessoas, a validação de segurança por terceiros pode se tornar um requisito para a implantação — mudando a forma como os fabricantes comprovam que suas máquinas são seguras, de aprovações de engenharia pontuais para avaliações padronizadas e compartilháveis.