Gemini Robotics-ER 1.6 : Avancées en raisonnement robotique

Introduction au raisonnement incarné

Pour que les robots soient véritablement utiles dans nos vies quotidiennes et dans les industries, ils doivent aller au-delà de l'exécution d'instructions simples. Ils doivent être capables de raisonner sur le monde physique qui les entoure. Qu'il s'agisse de naviguer dans un environnement complexe ou d'interpréter l'aiguille d'un manomètre, le raisonnement incarné permet aux robots de combler le fossé entre l'intelligence numérique et l'action physique.

Présentation de Gemini Robotics-ER 1.6

Aujourd'hui, nous introduisons Gemini Robotics-ER 1.6, une mise à jour significative de notre modèle axé sur le raisonnement. Ce modèle permet aux robots de comprendre leur environnement avec une précision sans précédent. En améliorant le raisonnement spatial et la compréhension multi-vues, nous apportons un nouveau niveau d'autonomie à la prochaine génération d'agents physiques.

Capacités de raisonnement avancées

Ce modèle se spécialise dans les capacités de raisonnement critiques pour la robotique, y compris la compréhension visuelle et spatiale, la planification des tâches et la détection de succès. Il agit comme le modèle de raisonnement de haut niveau pour un robot, capable d'exécuter des tâches en appelant nativement des outils comme Google Search pour trouver des informations, des modèles vision-langage-action (VLA) ou toute autre fonction définie par l'utilisateur.

Améliorations par rapport aux versions précédentes

Gemini Robotics-ER 1.6 montre une amélioration significative par rapport à Gemini Robotics-ER 1.5 et Gemini 3.0 Flash, en améliorant spécifiquement les capacités de raisonnement spatial et physique telles que le pointage, le comptage et la détection de succès. Nous débloquons également une nouvelle capacité : la lecture d'instruments, permettant aux robots de lire des manomètres complexes et des verres de niveau — un cas d'utilisation que nous avons découvert grâce à une collaboration étroite avec notre partenaire, Boston Dynamics.

Disponibilité pour les développeurs

À partir d'aujourd'hui, Gemini Robotics-ER 1.6 est disponible pour les développeurs via l'API Gemini et Google AI Studio. Pour vous aider à démarrer, nous partageons un Colab développeur contenant des exemples de configuration du modèle et de son utilisation pour des tâches de raisonnement incarné.

Pointage : La fondation du raisonnement spatial

Le pointage est une capacité fondamentale pour un modèle de raisonnement incarné, évoluant avec chaque génération de modèle. Les points peuvent être utilisés pour exprimer de nombreux concepts, notamment :

• Raisonnement spatial : Détection précise des objets et comptage
• Logique relationnelle : Faire des comparaisons, comme identifier le plus petit élément d'un ensemble ; définir des relations "de-à" (par exemple, déplacer X à l'emplacement Y)
• Raisonnement de mouvement : Cartographier des trajectoires et identifier des points de préhension optimaux
• Conformité aux contraintes : Raisonnement à travers des instructions complexes comme "pointer vers chaque objet assez petit pour tenir dans la tasse bleue"

Gemini Robotics-ER 1.6 peut utiliser des points comme étapes intermédiaires pour raisonner sur des tâches plus complexes. Par exemple, il peut utiliser des points pour compter des éléments dans une image ou pour identifier des points saillants sur une image afin d'aider le modèle à effectuer des opérations mathématiques pour améliorer ses estimations métriques.

Exemple de pointage

L'exemple ci-dessous montre les forces de Gemini Robotics-ER 1.6 dans le pointage vers plusieurs éléments, et de savoir quand pointer et quand ne pas pointer. Gemini Robotics-ER 1.6 identifie correctement le nombre de marteaux (2), de ciseaux (1), de pinceaux (1), de pinces (6), et une collection d'outils de jardin qui peuvent être interprétés comme un groupe unique ou plusieurs points. Il ne pointe pas vers des éléments demandés qui ne sont pas présents dans l'image — une brouette et une perceuse Ryobi. En comparaison, Gemini Robotics-ER 1.5 échoue à identifier le nombre correct de marteaux ou de pinceaux, manque complètement les ciseaux, hallucine une brouette et manque de précision sur le pointage des pinces. Gemini 3.0 Flash est proche de Gemini Robotics-ER 1.6, mais ne gère pas aussi bien les pinces.

Détection de succès : Le moteur de l'autonomie

Dans la robotique, savoir quand une tâche est terminée est tout aussi important que de savoir comment la commencer. La détection de succès est une pierre angulaire de l'autonomie, servant de moteur de prise de décision critique qui permet à un agent de choisir intelligemment entre réessayer une tentative échouée ou progresser vers la prochaine étape d'un plan.

Raisonnement multi-vues

Atteindre une compréhension visuelle en robotique est un défi, nécessitant des capacités de perception et de raisonnement sophistiquées combinées à une vaste connaissance du monde pour gérer des facteurs compliquants tels que les occlusions, un éclairage médiocre et des instructions ambiguës. De plus, la plupart des configurations robotiques modernes incluent plusieurs vues de caméra, comme une vue aérienne et une vue montée sur le poignet. Cela signifie qu'un système doit comprendre comment différentes perspectives se combinent pour former une image cohérente à chaque instant et au fil du temps.

Avancées de Gemini Robotics-ER 1.6

Gemini Robotics-ER 1.6 fait progresser le raisonnement multi-vues, permettant au système de mieux comprendre plusieurs flux de caméra et la relation entre eux, même dans des environnements dynamiques ou occlus, comme démontré dans le scénario multi-vues typique ci-dessous. Gemini Robotics-ER 1.6 prend des indices de plusieurs vues de caméra pour déterminer quand la tâche "mettre le stylo bleu dans le porte-stylo noir" est terminée.

Lecture d'instruments : Raisonnement visuel dans le monde réel

Pour comprendre une force clé de Gemini Robotics-ER 1.6, nous devons examiner comment il combine des capacités telles que le raisonnement spatial et la connaissance du monde pour résoudre des problèmes complexes du monde réel. Un exemple parfait est la lecture d'instruments.

Collaboration avec Boston Dynamics

Cette tâche découle des besoins d'inspection des installations, un domaine de focus critique pour nos partenaires chez Boston Dynamics. Les installations industrielles contiennent de nombreux instruments — thermomètres, manomètres, verres de niveau chimiques et plus — qui nécessitent une surveillance constante. Spot, un produit robotique de Boston Dynamics, est capable de visiter les instruments dans toute l'installation et de capturer des images d'eux.

Capacité de lecture d'instruments

Gemini Robotics-ER 1.6 permet aux robots d'interpréter une variété d'instruments, y compris des manomètres circulaires, des indicateurs de niveau verticaux et des affichages numériques modernes.

Raisonnement visuel complexe

La lecture d'instruments nécessite un raisonnement visuel complexe. Il faut percevoir avec précision une variété d'entrées — y compris les aiguilles, le niveau de liquide, les limites du conteneur, les marques de graduation et plus — et comprendre comment elles se rapportent les unes aux autres. Dans le cas des verres de niveau, cela implique d'estimer combien le liquide remplit le verre en tenant compte de la distorsion due à la perspective de la caméra. Les manomètres ont généralement du texte décrivant l'unité, qui doit être lu et interprété, et certains ont plusieurs aiguilles faisant référence à différents décimales qui doivent être combinées.

Vision agentique

Des capacités comme la lecture d'instruments et un raisonnement de tâche plus fiable permettront à Spot de voir, comprendre et réagir aux défis du monde réel de manière complètement autonome. Gemini Robotics-ER 1.6 atteint ses lectures d'instruments très précises en utilisant la vision agentique, qui combine le raisonnement visuel avec l'exécution de code. Le modèle prend des étapes intermédiaires : d'abord en zoomant sur une image pour obtenir une meilleure lecture des petits détails d'un manomètre, puis en utilisant le pointage et l'exécution de code pour estimer les proportions et les intervalles afin d'obtenir une lecture précise, et finalement en appliquant sa connaissance du monde pour interpréter le sens.

Notre modèle robotique le plus sûr à ce jour

La sécurité est intégrée à chaque niveau de nos modèles de raisonnement incarné. Gemini Robotics-ER 1.6 est notre modèle robotique le plus sûr à ce jour, démontrant une conformité supérieure aux politiques de sécurité Gemini sur des tâches de raisonnement spatial adversarial par rapport à toutes les générations précédentes.

Amélioration de la sécurité

Le modèle montre également une capacité substantiellement améliorée à respecter les contraintes de sécurité physique. Par exemple, il prend des décisions plus sûres grâce à des sorties spatiales comme le pointage concernant quels objets peuvent être manipulés en toute sécurité sous des contraintes de préhension ou de matériau (par exemple, "ne pas manipuler de liquides", "ne pas soulever d'objets pesant plus de 20 kg").

Tests de sécurité

Nous avons également testé comment le modèle identifie les dangers pour la sécurité dans des scénarios textuels et vidéo basés sur des rapports d'accidents réels. Sur ces tâches, nos modèles Gemini Robotics-ER améliorent les performances de base de Gemini 3.0 Flash de +6 % dans le texte et +10 % dans la vidéo en percevant les risques de blessures avec précision.

Collaborons pour améliorer le raisonnement incarné pour la robotique

Nous nous engageons à garantir que Gemini Robotics-ER offre une valeur maximale à la communauté robotique. Si les capacités actuelles sont limitées pour votre application spécialisée, nous vous invitons à soumettre ce formulaire avec 10 à 50 images étiquetées illustrant des modes de défaillance spécifiques pour nous aider à construire des fonctionnalités de raisonnement plus robustes. Nous sommes impatients de collaborer avec vous pour améliorer ces capacités dans nos prochaines versions.