Nvidia et Berkeley : CaP-X redéfinit le contrôle robotique IA

Un cadre collaboratif pour évaluer les IA en robotique

Nvidia, en partenariat avec l'UC Berkeley, Stanford et Carnegie Mellon, a développé un cadre novateur nommé CaP-X. Ce système d'accès ouvert évalue systématiquement la capacité des modèles d'intelligence artificielle à contrôler des robots par le biais de programmes auto-écrits. Les résultats des tests révèlent que sans les abstractions conçues par l'homme, même les modèles les plus avancés échouent à égaler la fiabilité des programmes humains lors d'une seule tentative. Aucun des douze modèles de pointe testés ne peut égaler cette fiabilité.

Techniques de langage appliquées à la robotique

Les chercheurs ont adopté des techniques issues des modèles de langage pour les appliquer à la robotique. Parmi ces méthodes, on trouve l'apprentissage par renforcement avec des récompenses issues de simulations physiques, le scalage de calcul au moment du test et l'utilisation de patrons agentiques comme le débogage automatisé. Ces techniques permettent de combler l'écart de performance entre les modèles IA et les programmes humains. Les modèles échouent à la plupart des tâches robotiques lorsqu'ils fonctionnent sans abstractions de haut niveau. Les modèles doivent alors combiner correctement des dizaines de lignes de code là où un seul appel de fonction suffisait auparavant.

Essais sur des modèles variés

L'équipe a testé des modèles tels que Gemini-3-Pro, GPT-5.2, Claude Opus 4.5, ainsi que plusieurs modèles open-source comme Qwen3-235B et DeepSeek-V3.1 sur sept tâches de manipulation robotique. Les performances varient considérablement en fonction des éléments de base auxquels les modèles ont accès. Sans commandes pré-construites, les modèles doivent combiner correctement des dizaines de lignes de code là où un seul appel de fonction suffisait auparavant, ce qui complique leur tâche.

Impact des images brutes sur les performances

L'introduction directe d'images de caméra dans les modèles nuit à leur performance. Les chercheurs suspectent un écart dans l'alignement cross-modal - les modèles de base sont rarement formés pour raisonner simultanément sur le code logiciel et l'exécution physique du robot. Un Module de Différenciation Visuelle intermédiaire, qui traduit les scènes en texte, améliore significativement les résultats. Ce modèle de vision-langage séparé décrit d'abord la scène en texte, extrait les propriétés pertinentes à la tâche, et après chaque étape d'exécution, rapporte ce qui a changé dans l'image et si la tâche est terminée.

CaP-Agent0 : un système sans entraînement prometteur

Sur la base de ces découvertes, les chercheurs ont développé CaP-Agent0, un système sans entraînement qui utilise trois composants principaux : un Module de Différenciation Visuelle, une bibliothèque de fonctions générées automatiquement, et la génération de code parallèle. Ce système a démontré qu'il pouvait égaler ou surpasser le code humain dans plusieurs tâches. Certaines idées de CaP-Agent0 remontent à Voyager, un agent Minecraft de l'équipe autour du co-auteur Jim Fan, directeur de la robotique chez Nvidia. Le modèle décompose une tâche de haut niveau en sous-tâches automatiquement, utilisant des outils de programmation et de mathématiques pour exécuter l'appui sur le bouton. Malgré sa dépendance totale à des éléments de bas niveau, CaP-Agent0 égalise ou dépasse le code écrit par des humains dans quatre des sept tâches. Un agent de supervision synthétise ensuite les candidats en une solution finale.

Comparaison avec les modèles Vision-Language-Action

Les chercheurs ont également évalué CaP-Agent0 par rapport à des modèles Vision-Language-Action (VLA) entraînés. Sur le benchmark LIBERO-PRO, qui teste des tâches avec des positions d'objets modifiées et des instructions reformulées, CaP-Agent0 a obtenu des performances similaires à celles du modèle VLA de Physical Intelligence, pi0.5. Lorsque les descriptions de tâches étaient reformulées, CaP-Agent0 s'est révélé significativement plus robuste, car il interprète les instructions directement au lieu de dépendre d'une distribution d'entraînement spécifique.

Amélioration des modèles par l'apprentissage par renforcement

Le cadre CaP-X inclut également CaP-RL, une méthode qui utilise l'apprentissage par renforcement pour améliorer les modèles de langage dans le contrôle des robots. Un modèle Qwen2.5-Coder-7B a vu son taux de réussite sur l'empilement de cubes passer de 4 à 44 % en simulation. Sur un vrai robot Franka, le même modèle a atteint 76 % sans ajustement supplémentaire, car il optimise à travers des interfaces de programmation abstraites plutôt qu'à partir d'images de caméra. L'écart visuel entre simulation et réalité a donc peu d'importance. Le modèle est entraîné à l'aide de signaux de récompense issus de simulations physiques : lorsque le code généré produit un mouvement de robot réussi, le modèle reçoit un retour positif.

Un système hybride pour le contrôle robotique

L'équipe propose un système hybride où les agents de codage gèrent la logique des tâches de haut niveau et la récupération, tandis que des politiques spécialisées de vision-langage-action s'occupent du contrôle moteur détaillé. L'ensemble du cadre CaP-X - incluant CaP-Gym, CaP-Bench, CaP-Agent0 et CaP-RL - est disponible en tant que plateforme d'accès ouvert pour la communauté de recherche, offrant ainsi de nouvelles perspectives pour le développement de solutions robotiques autonomes.