Safeworld lève 12 M$ pour valider la sécurité des robots IA

La start-up Safeworld veut éprouver la sûreté des robots pilotés par IA générative à travers des simulations denses en scénarios humains. Elle annonce plus de 12 millions de dollars levés auprès d'investisseurs dont a16z Speedrun et Shine Capital, tout en testant son approche avec Gritt Robotics. L'entreprise, issue notamment du laboratoire Safe AI de Carnegie Mellon, n’a pas encore tranché entre plateforme logicielle et offre de services.

Un modèle économique encore ouvert et un test industriel en cours

Safeworld n’a pas arrêté si son produit prendra la forme d’une plateforme pour des utilisateurs externes ou d’une offre de services. L’entreprise indique évoluer dans un contexte encore précoce pour l’usage de l’IA générative en robotique. Un premier partenariat est en cours avec Gritt Robotics pour développer des simulations de sécurité. Gritt Robotics, dont le CTO est Vishal Dugar, conçoit l’IA de robots qui assistent des ouvriers lors de l’installation de panneaux photovoltaïques sur de grandes fermes solaires et vise, à terme, des tâches de construction plus complexes. Ces robots opèrent au contact de travailleurs humains, et éviter tout impact du bras robotique est une priorité. Vérifier cette sûreté exige d’anticiper de nombreux scénarios concrets.

Validation empirique et couverture de comportements humains variés

Pour Vishal Dugar, prouver formellement par des méthodes mathématiques qu’un système est sûr est très difficile ; l’évaluation doit se faire de manière empirique. Les simulations doivent couvrir des postures et dynamiques multiples telles qu’être agenouillé, debout, trébucher, tomber, s’accroupir ou courir. Elles doivent aussi intégrer la diversité d’apparences des personnes exposées, incluant vêtements, taille, forme, hauteur et couleur de peau.

La méthode Safeworld : des environnements numériques et des milliers de scénarios

Safeworld reproduit numériquement les environnements d’usage, par exemple dans des moteurs comme Genesis ou MuJoCo. Le robot évalué est simulé avec son véritable logiciel de contrôle. L’entreprise exécute ensuite des milliers de scénarios où des modèles humains rencontrent le robot, une étape compliquée par l’imprévisibilité des comportements humains. Parmi les cas testés figure la chute d’une personne, fréquente dans les campagnes de simulation. Des situations concrètes guident ces essais, comme un angle mort en usine, avec des questions de vitesse, de distance d’arrêt et de détection d’une personne portant des boîtes.

Pourquoi un tiers de confiance est recherché par les industriels

Si des outils internes existent déjà chez les fabricants, les fondateurs de Safeworld estiment qu’une validation par un tiers sera recherchée, y compris pour partager des cas de sécurité entre concurrents. Ding Zhao insiste sur la difficulté des cas limites et sur le fait que l’enjeu se situe au niveau des déploiements à grande échelle, auprès d’utilisateurs peu familiers des robots. Du côté des investisseurs, Jonathan Lai d’a16z Speedrun considère nécessaire de définir dès maintenant une norme de sécurité, et prévient que l’arrivée de robots dans les foyers sans ces garde-fous pourrait conduire à des collisions et à des incidents évitables.

Des moyens financiers et une équipe ancrée à Carnegie Mellon

Safeworld annonce plus de 12 millions de dollars levés, dans un tour dirigé par Shine Capital et a16z Speedrun. Box Group, la dotation de l’Université Carnegie Mellon, Innovation Endeavors et SV Angel participent également. La société a été fondée par Ding Zhao, Kyle Wong et Simo Rachidi. Zhao, qui dirige le laboratoire Safe AI de Carnegie Mellon, décrit la sûreté des systèmes d’IA générative comme un problème de gestion du risque probabiliste et de construction de la confiance. Il affirme que Safeworld sera probablement la première entreprise rentable de ce domaine, estimant que tout déploiement nécessitera de rémunérer la société pour la gestion de la sécurité.

Le contexte technique : l’essor de l’IA générative et son imprévisibilité

Le contrôle des robots passe de plus en plus par des modèles d’IA générative, dont l’imprévisibilité contraste avec les algorithmes traditionnels. Selon Ding Zhao, évaluer ces systèmes dans des environnements non structurés, avec des exigences de sécurité propres à chaque site, est plus complexe que l’évaluation des véhicules autonomes. Safeworld se positionne sur l’évaluation de ces contrôleurs par des simulations intégrant des modèles humains réalistes.