Nvidia lance Flora pour annoter des vidéos robotiques à bas coût

Nvidia met en libre accès Flora, un moteur d’annotation vidéo destiné à la robotique. L’entreprise avance des coûts projetés de 0,72 dollar par heure et revendique des avancées nettes sur la détection d’actions et l’évaluation d’épisodes, tout en concédant des écarts selon les benchmarks et des compromis sur les faux positifs.

Les tests opposent Flora à Astra avec des gains ciblés et des biais possibles

Sur WGO-Bench, Flora excelle dans la détection des limites d’action, tout en restant derrière GPT-6 Astra au score global et derrière Gemini 3.8 Flash pour la précision de description. Les chercheurs attribuent les gains obtenus principalement à la localisation temporelle. Sur DenseCaptionBench, Flora arrive en tête pour les enregistrements humains, mais se classe seconde derrière Astra pour les vidéos de robots. Les chercheurs relèvent un problème méthodologique, car GPT-6 Astra participe à la fois à l’évaluation des descriptions et figure parmi les modèles évalués. Flora surpasse ses concurrents pour les enregistrements humains, l’appréciation des résultats et les évaluations étape par étape, alors qu’Astra garde l’avantage sur WGO-Bench, les vidéos de robots et les évaluations fondées sur des critères. Sur RoboRewardBench, Flora affiche un taux d’erreur inférieur de 27,8 % à celui d’Astra, en particulier dans les situations où les tâches ne sont accomplies qu’en partie, Flora attribuant 3 points sur 5 alors qu’Astra n’en accorde qu’un. Flora-Rewarder détecte 53,3 % des étapes échouées au sein d’un épisode, alors qu’aucun concurrent ne dépasse 11,7 % et qu’Astra n’en détecte aucune. Le revers est un sur-signalement d’environ 11 % d’étapes normales comme des erreurs. Astra reste mieux classé pour les notations basées sur des critères et pour le classement des trajectoires. Dans une séquence riche en mouvements de main courts, Flora identifie 34 actions sur 37, quand Astra n’en relève que quatre, mais Flora segmente parfois à l’excès et peut se tromper dans ses descriptions, comme confondre un essuyage d’assiette avec un pliage de serviette.

Des coûts projetés à 0,72 $/h et une qualité revendiquée à 57,1 %

Dans un test portant sur 50 vidéos, Nvidia indique que Flora obtient des résultats légèrement supérieurs à GPT-6 Astra, ce dernier utilisant l’intégralité de ses capacités de raisonnement. L’entreprise évalue le coût d’annotation à environ 0,72 dollar par heure avec Flora, contre environ 88,50 dollars avec GPT-6 Astra, et rapporte que Claude Opus 5 fait moins bien tout en coûtant environ 42 dollars par heure. Nvidia annonce une qualité d’annotation de 57,1 % au coût de 0,72 dollar pour Flora, contre 53,7 % à 88,49 dollars pour GPT-6 Astra. Ces montants restent des projections, calculées par Nvidia à partir d’un prix supposé de 10 dollars par GPU et par heure, et ne constituent pas des mesures en production.

Trois modèles Qwen3.5 pour segmenter, décrire et noter

Flora s’appuie sur trois modèles Qwen3.5 distincts. Un modèle doté de 9 milliards de paramètres s’occupe de la segmentation des actions, tandis qu’un autre modèle de 27 milliards de paramètres se consacre à la génération de descriptions contextuelles. Un troisième modèle de 27 milliards, nommé Flora-Rewarder, attribue une note de 1 à 5 au succès d’un épisode, étiquette chaque demi-seconde d’exécution comme normale, sous-optimale ou échouée, et fournit des scores selon les critères spécifiés dans le prompt. Un modèle spécialisé dans la segmentation et un autre pour les légendes produisent des descriptions associées à des horodatages, alors qu’un unique modèle de récompense réalise trois types d’analyses. Le dispositif a pour objectif de découper les vidéos dans le temps, de fournir des descriptions d’actions et d’évaluer à la fois l’exécution et le résultat des épisodes. Nvidia assure que ces composants couvrent les trois familles d’étiquettes nécessaires.

Usage interne annoncé à grande échelle et disponibilité

Nvidia indique utiliser Flora pour l’entraînement de ses modèles GR00T, avec une capacité annoncée allant jusqu’à 200 000 heures de vidéo annotées par jour sur 512 GPU GB300. Les modèles liés à Flora sont proposés sur la plateforme Hugging Face.

Positionnement face aux services commerciaux et stratégie de données

Flora est présenté comme une alternative ouverte à des offres commerciales telles que le Physical AI Data Engine de Scale AI, afin de permettre aux équipes de recherche d’étendre leurs jeux de données et d’explorer des approches comme le transfert de démonstrations humaines vers des robots. Nvidia relie cette publication à ses investissements dans des modèles ouverts et à un travail de plus longue haleine pour pallier la rareté des données d’entraînement par la simulation et l’automatisation du traitement. Lors de la GTC plus tôt cette année, l’entreprise a montré un pipeline qui prépare, multiplie et évalue automatiquement des données, auquel Flora ajoute des étiquettes détaillées et des signaux de récompense issus de vidéos. Cette démarche s’inscrit dans une stratégie couvrant matériel, données, simulation et modèles. Dans le même périmètre d’usage, Google propose Gemini 4 Argon, conçu pour identifier des étapes dans les vidéos d’entraînement et signaler des actions échouées. Selon Nvidia, les besoins couvrent trois types d’annotations, peu adressés conjointement par les outils actuels, et les grands modèles capables de les produire restent coûteux pour de très grands volumes.