Un robot Unitree G1 nettoie une cuisine via GPT‑6 Astra

HomeBody, conçu par des équipes de Stanford et Caltech, fait exécuter à un Unitree G1 des tâches domestiques dans une cuisine inconnue en s’appuyant sur un modèle vision‑langage relié à des compétences de bas niveau. Le dispositif a montré des latences, des surchauffes de doigts et des coûts de calcul élevés. Le code est publié, alors que des évaluations opposent progrès en raisonnement spatial et alertes de sécurité, et qu’OpenAI dit vouloir revenir à la robotique.

Latence, surchauffe et coût élevés ont été rapportés

Les chercheurs signalent que GPT Astra présente une latence notable et que les servomoteurs des doigts du robot peuvent surchauffer. Ils mentionnent également que l'exécution du système requiert des ressources de calcul importantes. Par ailleurs, une évaluation distincte a mis en avant des problèmes de sécurité lorsque Astra contrôle un robot.

Le langage pilote directement des compétences robotiques

HomeBody élimine la couche de contrôle habituellement entraînée entre le modèle de langage et le robot. Le modèle vision-langage, ici GPT Astra, se connecte directement à une bibliothèque de compétences extensible pour permettre au robot de saisir des objets, de se déplacer ou d’ouvrir des tiroirs. Pour des tâches comme le nettoyage d’une cuisine, le modèle planifie chaque étape et ajuste son comportement en cas d’erreur.

Exploration, jumeau numérique et mémoire spatiale pour la tâche

Conçu par des chercheurs de Stanford et Caltech, HomeBody donne la capacité à un robot Unitree G1 de circuler de manière autonome dans une cuisine inconnue, d’organiser et de récupérer des objets rangés dans des tiroirs. Le robot débute par une phase d’exploration de la pièce, génère une réplique numérique de l’espace dans Isaac Sim de Nvidia et consigne les objets ainsi que leur position dans une mémoire spatiale, ce qui lui permet de localiser des éléments même lorsqu’ils ne sont plus dans son champ de vision. L’essai montre que GPT‑6 Astra fonctionne efficacement avec des robots. Le code du projet est accessible sur GitHub. Des évaluations antérieures ont mis en évidence une nette amélioration du raisonnement spatial d’Astra, tandis qu’une autre a relevé des problèmes de sécurité lors du contrôle robotique. OpenAI a par ailleurs annoncé des projets pour revenir dans la robotique, y compris pour des usages personnels.