L’annotation vidéo robotique entre dans une nouvelle phase : Nvidia estime que Flora peut traiter une heure de vidéo pour 0,72 dollar, contre environ 88,50 dollars avec GPT-6 Astra à son niveau de raisonnement maximal. L’écart annoncé atteint environ 125 fois, mais il repose sur des projections de coûts GPU et non sur une mesure de production.
Publié en open source par le laboratoire GEAR de Nvidia, Flora transforme des vidéos de manipulation humaine ou robotique en données exploitables pour entraîner et évaluer des robots. Le système segmente les actions, les décrit avec des instructions horodatées et attribue des scores de progression, de réussite ou d’échec.
Cette baisse de coût peut modifier l’économie des jeux de données robotiques. Elle ne supprime toutefois ni le besoin de contrôle humain ni les arbitrages de qualité : les résultats varient selon les benchmarks, Flora peut produire davantage de faux positifs et GPT-6 Astra conserve l’avantage sur plusieurs mesures sémantiques.
Flora automatise trois étapes centrales de l’annotation vidéo
L’idée clé de Flora est de remplacer une annotation manuelle dispersée par une chaîne de modèles spécialisée dans les vidéos de manipulation. Nvidia présente l’ensemble comme un moteur de données destiné à convertir des séquences brutes en signaux d’apprentissage pour la robotique.
Segmenter les actions
Flora-TempSeg découpe une vidéo en intervalles correspondant à des actions distinctes. Cette étape identifie le moment où une opération commence et se termine, par exemple lorsqu’un robot saisit un objet, le déplace ou tente de l’insérer dans un support.
La segmentation constitue une brique essentielle pour les équipes qui veulent filtrer des épisodes, équilibrer leurs jeux de données ou associer une séquence à une consigne précise. Une vidéo continue devient ainsi une suite d’événements temporels plus faciles à rechercher et à comparer.
Décrire chaque opération
Flora-Captioner génère une instruction ou une description pour chaque segment. Le modèle exploite le contexte de la séquence afin de ne pas limiter l’annotation à une image isolée.
Cette capacité doit aider à relier une action observée à une formulation utilisable par un modèle de robot. Elle concerne les séquences filmant des robots, des mains humaines et des mains dites dexterous, capables de manipulations plus fines.
Évaluer la qualité d’une tentative
Flora-Rewarder produit des signaux d’évaluation à plusieurs niveaux. Il peut estimer la progression d’une étape, juger le résultat global d’une tentative et attribuer des scores selon une grille définie par l’équipe de recherche.
Ces signaux sont destinés au tri des données, au contrôle de la qualité des mouvements et au post-entraînement par reinforcement learning. Flora peut également rechercher les causes d’un échec, ce qui est plus utile pour améliorer un robot qu’un simple verdict de réussite ou d’échec.
À retenir : Flora ne se limite pas à transcrire une vidéo. Il transforme une séquence de manipulation en actions, descriptions et signaux de récompense utilisables dans une chaîne d’entraînement robotique.
Le coût annoncé passe sous le dollar par heure de vidéo
Le chiffre le plus marquant de Flora est son coût projeté de 0,72 dollar pour annoter une heure de vidéo source. Nvidia calcule cette estimation à partir de huit GPU GB300 facturés 10 dollars par heure chacun.
La comparaison publiée par l’entreprise place GPT-6 Astra autour de 88,50 dollars par heure lorsque le modèle fonctionne avec son niveau de raisonnement maximal. Flora serait donc environ 125 fois moins cher dans cette configuration.
| Solution | Coût estimé pour une heure de vidéo | Configuration ou niveau indiqué |
|---|---|---|
| Flora | 0,72 dollar | 8 GPU GB300 à 10 dollars par heure |
| GPT-6 Astra | 88,50 dollars | Niveau de raisonnement maximal |
| Claude Opus 5 | 42 dollars | Estimation comparative publiée |
Ces montants correspondent à des projections de calcul. Ils ne mesurent pas une facture complète en production intégrant la préparation des vidéos, le stockage, la supervision, les reprises de traitement ou la vérification des annotations. La comparaison reste néanmoins significative pour une équipe qui doit traiter des dizaines de milliers d’heures de séquences.
Nvidia affirme par ailleurs que son moteur interne a déjà traité 200 000 heures de vidéo par jour avec 512 GPU GB300. Ce volume donne une indication de l’échelle visée par Flora : le système est conçu pour alimenter des pipelines industriels de données robotiques, pas seulement des expériences sur quelques centaines de vidéos.
Le prix bas ne signifie toutefois pas que toute annotation humaine devient inutile. Une équipe doit encore définir les rubriques d’évaluation, vérifier les cas ambigus et mesurer l’impact des erreurs sur le modèle robotique final. Une annotation peu coûteuse mais mal calibrée peut dégrader un jeu de données à grande échelle plus vite qu’une annotation manuelle limitée.
Le gain de Flora est le plus net sur la détection des échecs
Les résultats publiés montrent que Flora ne domine pas tous les critères. Son intérêt apparaît surtout lorsque l’annotation doit repérer les étapes défaillantes et produire des signaux d’évaluation détaillés.
Sur DenseRewardBench, Nvidia rapporte un failure recall de 53,3 % pour Flora, contre 0 % pour GPT-6 Astra dans la même comparaison. Le failure recall mesure ici la capacité à retrouver les échecs présents dans les séquences.
Flora obtient également de meilleurs résultats qu’Astra sur le macro-F1 et la balanced accuracy dans les données citées. Ces indicateurs favorisent un système capable de traiter plusieurs catégories sans privilégier uniquement les classes les plus fréquentes.
La différence est importante pour la robotique. Les échecs sont souvent minoritaires dans les vidéos d’entraînement, car les opérateurs ou les systèmes de collecte conservent davantage les tentatives réussies. Un détecteur qui ignore les rares erreurs risque alors de laisser passer des comportements dangereux ou difficiles à corriger.
Les faux positifs limitent toutefois la valeur opérationnelle
La contrepartie relevée dans les tests internes concerne les faux positifs. Flora peut signaler comme problématiques des actions qui sont en réalité correctes ou acceptables selon le contexte.
Cette faiblesse a une conséquence directe sur le tri automatique. Si un système écarte trop de séquences valides, il réduit la diversité du jeu de données et peut supprimer des exemples utiles de variations de prise, de trajectoire ou de vitesse.
Les équipes devront donc fixer un seuil différent selon l’usage. Pour détecter des épisodes à examiner par un humain, un rappel élevé peut être préférable. Pour attribuer automatiquement une récompense utilisée dans l’entraînement, la précision des signaux devient plus critique.
GPT-6 Astra reste devant sur plusieurs benchmarks
L’écart de coût ne se traduit pas par une victoire uniforme de Flora sur la qualité. Les résultats disponibles montrent une performance dépendante de la tâche et du benchmark.
Sur WGO-Bench, Flora obtient un score de 50,3 contre 46,0 pour GPT-6 Astra sur le F1 de segmentation des actions. Astra conserve toutefois l’avantage sur la gold-window accuracy, avec 77,4 contre 64,7, ainsi que sur le F1 sémantique combiné, avec 39,0 contre 34,5.
Sur la partie Robot200, GPT-6 Astra arrive également devant Flora sur plusieurs indicateurs. La caption point quality atteint 80,2 pour Astra contre 73,7 pour Flora. Le même benchmark donne aussi l’avantage à Astra sur la segmentation et le F1 combiné.
| Benchmark ou indicateur | Flora | GPT-6 Astra | Avantage publié |
|---|---|---|---|
| WGO-Bench, F1 de segmentation | 50,3 | 46,0 | Flora |
| WGO-Bench, gold-window accuracy | 64,7 | 77,4 | GPT-6 Astra |
| WGO-Bench, F1 sémantique combiné | 34,5 | 39,0 | GPT-6 Astra |
| Robot200, caption point quality | 73,7 | 80,2 | GPT-6 Astra |
| DenseRewardBench, failure recall | 53,3 % | 0 % | Flora |
Ces chiffres décrivent des compétences différentes. La segmentation mesure la capacité à découper correctement les épisodes, tandis que la qualité de description évalue la pertinence sémantique des annotations. La détection d’échec, elle, répond à une question de contrôle et de supervision qui n’est pas équivalente à la génération d’une légende.
Cette variation interdit de résumer Flora comme un modèle systématiquement meilleur ou moins bon qu’Astra. Flora semble particulièrement adapté à la production massive de signaux structurés et à la détection d’erreurs. Astra conserve une position favorable lorsque la précision sémantique ou la qualité de légende domine l’évaluation.
L’open source réduit le coût d’entrée, pas le coût total
Flora est publié avec ses poids et son code pour permettre son utilisation dans des pipelines de recherche. La version rendue publique est distribuée sous une licence Nvidia non commerciale, limitée aux usages de recherche.
Cette condition change la portée économique de l’annonce. Une université ou une équipe de recherche peut tester le moteur et l’adapter à son corpus, mais une entreprise ne peut pas automatiquement l’intégrer à un produit commercial dans les mêmes conditions.
Le recours à des GPU GB300 ajoute une autre contrainte. Le coût de 0,72 dollar par heure dépend d’une configuration matérielle et d’un tarif de location hypothétique. Une organisation qui ne dispose pas de cette capacité devra tenir compte du prix réel de son infrastructure, du temps de mise en route et de la disponibilité des accélérateurs.
Les données restent le facteur critique
Flora accélère l’annotation, mais il ne corrige pas une vidéo mal capturée. Les images floues, les occlusions, les changements de point de vue et les actions partiellement visibles peuvent perturber la segmentation et l’évaluation.
La qualité de la rubrique compte également. Une consigne trop vague produit des scores difficiles à interpréter, même si le modèle détecte correctement les événements visuels. Les équipes doivent donc définir des critères cohérents pour la réussite, la progression et l’échec avant d’automatiser le traitement.
Le meilleur scénario n’est pas nécessairement celui où l’humain disparaît du processus. Il consiste plutôt à réserver la vérification manuelle aux séquences ambiguës, aux échecs critiques et aux catégories où Flora affiche le plus de faux positifs.
Flora peut accélérer l’entraînement de GR00T et le tri des données
Nvidia indique que Flora alimente déjà son pipeline d’entraînement pour GR00T, son modèle de fondation consacré à la robotique. Le moteur sert à convertir des vidéos humaines et robotiques en données utilisables pour sélectionner, équilibrer et évaluer les épisodes.
Le premier effet opérationnel concerne la curation. Les annotations horodatées peuvent aider à retrouver toutes les tentatives d’une action, à isoler une phase de manipulation ou à retirer des séquences incomplètes. Cette organisation devient particulièrement utile lorsque le volume de vidéos dépasse les capacités d’un tri manuel.
Le deuxième effet concerne le post-entraînement. Les scores de progression peuvent fournir des signaux denses pour distinguer une trajectoire prometteuse d’un mouvement qui s’éloigne progressivement de l’objectif. Les scores de résultat peuvent ensuite servir à comparer des tentatives complètes.
Le troisième effet touche l’évaluation. Une grille peut mesurer la qualité d’une prise, la stabilité d’un déplacement ou la réussite d’une insertion. Le robot n’est alors plus évalué uniquement sur le résultat final, mais aussi sur la manière dont il atteint ce résultat.
À retenir : La valeur de Flora ne réside pas seulement dans son prix. Elle vient de l’association entre segmentation temporelle, description d’action et évaluation des échecs dans un même pipeline.
Notre avis : Flora devient une brique de recherche, pas encore un arbitre autonome
Flora constitue une annonce importante pour les équipes qui accumulent des vidéos de manipulation sans disposer des moyens nécessaires pour les annoter manuellement. À 0,72 dollar par heure dans l’estimation de Nvidia, le coût de pré-annotation devient assez faible pour traiter des volumes auparavant difficiles à exploiter.
Le modèle est particulièrement convaincant pour repérer les échecs, attribuer des signaux de progression et organiser de grands corpus. En revanche, ses résultats inférieurs à GPT-6 Astra sur plusieurs mesures sémantiques, ainsi que ses compromis sur les faux positifs, empêchent de lui confier sans contrôle l’évaluation finale de comportements robotiques sensibles.
Dans les six prochains mois, l’enjeu principal sera moins de savoir si Flora remplace Astra que de déterminer quelle combinaison offre le meilleur rapport entre coût, rappel des erreurs et précision des descriptions. Flora peut prendre en charge la première passe à grande échelle, tandis qu’un modèle plus général ou une vérification humaine intervient sur les cas ambigus.
La question décisive sera donc celle du passage de la recherche à la production : Nvidia ouvrira-t-elle les conditions d’usage nécessaires pour que Flora devienne une infrastructure commerciale de référence pour l’annotation robotique ?