Simulation et IA physique : le défi des données et des moteurs avancés

Défis de la construction de systèmes d'IA physique

Dans le domaine de l'intelligence artificielle physique, l'un des principaux obstacles réside dans l'accès limité aux données. Contrairement aux grands modèles de langage (LLMs) et aux modèles vision-langage (VLMs) qui peuvent être formés sur des ensembles de données massifs disponibles sur Internet, les systèmes de robotique et d'IA physique n'ont pas ce luxe. Pour qu'un robot puisse apprendre efficacement, il doit comprendre les conséquences de ses interactions avec le monde réel. Cela inclut des scénarios variés comme la glissade d'une tasse, le pliage d'un câble ou l'impact d'un préhenseur sur un objet à un angle inapproprié.

La collecte de ces données dans le monde réel est non seulement lente et coûteuse, mais elle peut aussi être risquée et parfois impraticable, surtout lorsque les tâches sont destructrices. C'est là que la simulation entre en jeu, offrant une alternative précieuse. Grâce à la simulation, les développeurs peuvent générer de grandes quantités de données qui sont à la fois photoréalistes et physiquement précises. En utilisant la téléopération de robots en simulation et en exploitant le parallélisme GPU, il est possible de produire des milliers d'heures d'expérience robotique à un coût bien inférieur à celui de la collecte de données dans le monde réel.

Évolution des simulateurs de robotique

Historiquement, les simulateurs de robotique servaient principalement à déboguer la géométrie, tester des contrôleurs ou visualiser le mouvement des robots. Aujourd'hui, leur rôle a évolué pour devenir une composante essentielle du développement de modèles. Les équipes de recherche et développement les utilisent pour diverses tâches :

• Génération d'ensembles de données de perception
• Entraînement de politiques d'apprentissage par renforcement
• Collecte de démonstrations
• Augmentation des données issues du monde réel
• Évaluation de modèles
• Test de politiques dans des scénarios rares ou adverses

Cette transformation explique pourquoi de nombreux laboratoires de recherche industriels et groupes académiques investissent dans des moteurs de simulation capables de répondre à ces nouvelles exigences.

Paradigme des trois ordinateurs

Pour comprendre ces exigences, on peut se référer au paradigme des trois ordinateurs :

• Ordinateur d'entraînement : Il s'agit d'un grand cluster GPU utilisé pour traiter des données et entraîner des modèles d'IA fondamentaux.

• Ordinateur de simulation : Une station de travail ou un cluster GPU qui utilise la physique accélérée par GPU et le rendu RTX pour générer des expériences robotiques, des données de capteurs et des interactions simulées.

• Ordinateur sur robot : Un dispositif de périphérie, tel qu'un système NVIDIA Jetson AGX Thor, qui exécute la politique ou le modèle entraîné lors du déploiement.

Chacun de ces ordinateurs joue un rôle distinct en fonction des exigences de latence, de débit, de précision et de déploiement de la tâche.

Choix du moteur de simulation

Aujourd'hui, de nombreux moteurs de simulation sont disponibles, chacun étant conçu pour des cas d'utilisation spécifiques tels que les robots humanoïdes, les véhicules aériens, les robots terrestres, les véhicules autonomes, les quadrupèdes et les manipulateurs habiles. Ces moteurs se distinguent également par leur support de l'apprentissage par renforcement, de la simulation par lots, de la physique riche en contacts, du rendu photoréaliste et de la simulation de capteurs.

Les développeurs doivent souvent se poser des questions fondamentales pour choisir un moteur de simulation :

• Ai-je besoin de flux de travail de génération de données synthétiques évolutifs ?
• Ai-je besoin de faire de l'apprentissage par renforcement ?
• Quel type de support de capteurs un moteur de simulation donné offre-t-il ?
• Quels formats d'actifs 3D le moteur de simulation supporte-t-il ?
• Quelle fidélité et quelle échelle environnementale sont requises ?

Ces facteurs aident les développeurs à déterminer quel moteur de simulation répondra le mieux à leurs besoins de développement.

Aperçu des moteurs de simulation populaires

Parmi les moteurs de simulation les plus populaires, on trouve NVIDIA Isaac Sim, Isaac Lab, MuJoCo, PyBullet, Drake et Genesis. Chacun de ces moteurs est adapté à des cas d'utilisation spécifiques, tels que l'évolutivité de l'apprentissage par renforcement, la génération de données synthétiques, ou le test d'algorithmes et/ou de modèles en simulation.

• MuJoCo (Multi-Joint dynamics with Contact) est un moteur physique open-source, rapide et précis, principalement conçu pour la robotique, la biomécanique, l'apprentissage par renforcement, le contrôle et la simulation de systèmes articulés.

• MuJoCo Warp (MJWarp) est une implémentation accélérée par GPU de MuJoCo, écrite dans NVIDIA Warp, un cadre Python pour écrire des noyaux différentiables accélérés par CUDA, adapté à l'apprentissage des robots et à la simulation physique.

• Isaac Sim est un cadre de simulation de robotique open-source construit sur NVIDIA Omniverse, offrant une physique de haute fidélité et un rendu photoréaliste.

• NVIDIA Isaac Lab 3.0 est un cadre de simulation open-source, accéléré par GPU, prêt pour les agents, conçu pour entraîner et évaluer des politiques robotiques à grande échelle.

Physique moderne accélérée par GPU pour la robotique

Les cadres de simulation modernes pour la robotique reposent sur une physique numérique avancée : dynamique des corps rigides et souples, modèles de contact et de friction, contraintes d'articulations, actionneurs, capteurs et intégration temporelle. À chaque étape de simulation, le moteur estime comment les corps se déplacent sous l'effet de forces, de couples, de collisions, de la gravité, de contraintes et d'entrées de contrôleur.

Newton est un moteur physique open-source, accéléré par GPU, extensible et différentiable, développé par NVIDIA, Google DeepMind et Disney Research. Il intègre MuJoCo Warp comme backend physique clé, offrant aux chercheurs un chemin vers une physique évolutive et indépendante du simulateur.