Gemini Robotics ER 2 : IA avancée pour robots collaboratifs

Introduction de Gemini Robotics ER 2

Gemini Robotics ER 2 représente une avancée majeure dans l'alimentation des robots grâce à la compréhension vidéo, à l'orchestration des tâches et à la collaboration multi-robots, rendant ainsi les robots plus utiles dans le monde physique.

Nous lançons Gemini Robotics ER 2, un nouveau modèle conçu pour agir comme un cerveau de haut niveau pour les robots. Il permet un raisonnement spatial en temps réel, une planification de tâches multi-étapes et la collaboration entre différents robots. Vous pouvez accéder au modèle dès maintenant via l'API Gemini, Google AI Studio ou la Gemini Enterprise Agent Platform pour commencer à créer vos propres agents IA physiques.

Avancées des capacités agentiques physiques

La plupart des tâches dans le monde physique sont complexes et nécessitent plusieurs étapes pour être complétées. Gemini Robotics ER 2 est un agent physique qui orchestre les étapes pour le robot, lui permettant de s'auto-corriger et de se généraliser à des situations plus nouvelles. Pour construire une configuration agentique, les développeurs peuvent déclarer des interfaces de contrôle de bas niveau — comme des modèles Vision-Language-Action (VLA) ou des API de navigation — comme outils, et diffuser des vidéos multimodales, audio ou texte directement dans le modèle.

Gemini Robotics ER 2 améliore ce flux de travail d'orchestration des outils. Nous pouvons évaluer ses performances avec des robots en simulation, en utilisant le contrôle de robot réel, et même l'associer à un humain contrôlant le robot à distance.

Intelligence temporelle pour une exécution robuste des tâches

Un des défis les plus difficiles en robotique est de savoir quand une tâche est terminée. Gemini Robotics ER 2 apporte une avancée dans la compréhension vidéo et le suivi des progrès pour vérifier que des tâches complexes — comme visser une ampoule ou nouer un sac poubelle — sont complètes selon les spécifications avant de passer à la tâche suivante.

Classification continue des progrès

La classification des progrès fait référence à la capacité d'un robot à suivre l'avancement vers l'achèvement d'une tâche. Dans nos évaluations, nous attribuons à chaque image d'un flux vidéo cinq niveaux de progrès (0-20%, 20-40%, 40-60%, 60-80%, 80-100%). En quantifiant le progrès des tâches, Gemini Robotics ER 2 fournit aux robots une connaissance situationnelle en temps réel, leur permettant d'ajuster leurs actions à la volée ou de réessayer des étapes échouées sans redémarrer tout un flux de travail.

Gemini Robotics ER 2 atteint une précision de 57,4% sur les tâches de classification des progrès, surpassant les modèles de génération précédente et les modèles de pointe concurrents.

Précision dans la détection de moments

La détection de moments mesure la capacité d'un modèle à identifier le cadre vidéo exact où un événement critique se produit (par exemple, quand arrêter de verser du café dans une tasse). Gemini Robotics ER 2 réalise des gains significatifs en performance sur la détection de moments, permettant aux robots de passer précisément d'une tâche à l'autre, de vérifier le succès et de suggérer des corrections.

Pour les tâches de détection de moments, Gemini Robotics ER 2 atteint une précision de 91,3% et une distance absolue moyenne de 0,96s. Il rivalise étroitement avec des catégories de modèles beaucoup plus grandes, mais offre cette précision à une fraction du coût de calcul et avec une vitesse d'exécution quatre fois supérieure — la latence inférieure à une seconde étant réellement nécessaire pour opérer en toute sécurité des robots physiques dans le monde réel.

Collaboration multi-robots

Aucun robot unique ne convient à chaque tâche — un rover à roues excelle à l'intérieur, tandis qu'un robot humanoïde peut exceller sur un terrain inégal. Gemini Robotics ER 2 permet la collaboration entre plusieurs robots, permettant à des machines diverses de communiquer via une compréhension sémantique partagée pour transférer et compléter des tâches complexes.

Amélioration de l'intelligence spatiale générale

Gemini Robotics ER 2 fait progresser notre capacité de raisonnement spatial de base, mesurée par trois indicateurs :

• Détection de succès/échec : Fonctionne désormais sur des flux vidéo bruts plutôt que sur des instantanés statiques pour détecter des échecs en cours d'exécution tels que des déversements, des glissades ou des désalignements.

• Lecture d'instruments générale : S'étend au-delà des cadrans circulaires et des verres de vue pour inclure des affichages numériques, des échelles linéaires, des règles et des thermomètres à liquide. Nous l'avons testé sur 10 types différents d'instruments.

• VQA spatial amélioré : Améliore le Visual Question Answering grâce aux avancées de Gemini en compréhension multimodale.

Gemini Robotics ER 2 atteint systématiquement la plus haute précision dans toutes les capacités clés, avec des points forts incluant la détection de succès (image/vidéo), le Question Answering (ERQA) et la lecture d'instruments généralisée.

Avancement de la sécurité pour l'intelligence incarnée

Gemini Robotics ER 2 est notre modèle le plus sûr, réalisant des gains significatifs sur les benchmarks de Suivi des Instructions de Sécurité et de Proximité Humaine, qui évaluent comment un modèle adhère aux contraintes physiques lors de tâches de raisonnement et à la conscience spatiale pour détecter les humains. Nous avons constaté que Gemini Robotics ER 2 arrête avec succès un robot humanoïde lorsqu'une personne est à proximité et reprend son travail de manière autonome uniquement lorsque la zone est dégagée.

À l'avenir, nos plans sont de pousser ces modèles vers des tâches encore plus complexes pour accélérer le développement de robots utiles et soutenir la communauté robotique.