Tu veux les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Nvidia présente Cosmos 3, une avancée majeure en IA physique
Lors du GTC de Taipei, Nvidia a dévoilé Cosmos 3, un modèle open source révolutionnaire dédié à l'IA physique. Ce modèle, décrit comme le premier omnimodèle entièrement ouvert, est conçu pour améliorer la compréhension et l'interaction des machines intelligentes, telles que les robots et les véhicules autonomes, avec leur environnement. En parallèle, Nvidia a également présenté le robot humanoïde Isaac GROOT.
Deux versions de Cosmos 3 sont déjà disponibles. La version « super » est optimisée pour des tâches nécessitant une grande précision, tandis que la version « nano » offre des résultats plus rapides. Une version « edge », destinée à un usage local, est également en préparation.
Un modèle entraîné sur des données colossales
Cosmos 3 a été formé sur une immense base de données multimodales, comprenant 20 000 milliards de tokens. Cette base inclut près d'un milliard d'images et environ 400 millions de vidéos, tant réelles que générées. Elle intègre également des données audio, du texte et des traces d'actions humaines et robotiques.
Ce qui distingue Cosmos 3, c'est sa capacité à comprendre non seulement les scènes visuelles, mais aussi les actions qui s'y déroulent. Ming-Yu Liu, vice-président du Cosmos Lab chez Nvidia, souligne l'importance de modéliser les mouvements des machines, un aspect crucial pour l'IA physique.
Nvidia affirme que Cosmos 3 atteint un niveau avancé de compréhension physique, ce qui pourrait réduire le temps nécessaire pour développer des IA physiques de plusieurs mois à quelques jours.
Applications concrètes de Cosmos 3
Cosmos 3 offre aux développeurs la possibilité de simuler des actions dans des environnements physiques. Il permet de créer des modèles spécialisés pour des tâches précises, comme la robotique ou la conduite autonome.
Le modèle peut générer des données d'action détaillées, telles que les angles des articulations d'un robot, les trajectoires et les positions de pinces mécaniques. Ces éléments sont essentiels pour entraîner des machines à interagir avec le monde réel.
Nvidia met également en avant la capacité de Cosmos à générer des scénarios rares ou dangereux, tels que des collisions de robots ou des incidents routiers atypiques. Ces situations, difficiles à reproduire dans la réalité, sont précieuses pour l'entraînement des systèmes autonomes.
Cosmos 3 s'inscrit dans la lignée des modèles ouverts de la famille Nemotron, permettant aux fabricants et développeurs de l'adapter à leurs besoins spécifiques. Nvidia collabore avec plusieurs partenaires, dont Agile Robots, Black Forest Labs et Runway, pour accélérer le développement de cet écosystème.
