Runway publie en open source Praxis-1, un modèle vidéo conçu pour exécuter des mouvements robotiques à partir d’images et d’instructions textuelles. Les benchmarks internes placent ce World Action Model en tête de sa catégorie sur RoboLab-120, tout en détaillant ses limites, ses besoins en données et ses prérequis matériels.
Limites connues, étapes explicites et vérifications encore internes
Runway indique que Praxis-1 confond parfois des objets d’apparence similaire et ne planifie pas encore de manière fiable des séquences d’actions complexes de façon autonome. Le modèle rencontre aussi des difficultés avec des instructions vagues. Pour les tâches longues, il est nécessaire de formuler explicitement chaque étape. Les résultats publiés proviennent de tests réalisés par Runway et n’ont pas encore été vérifiés de manière indépendante. L’entreprise estime que les performances sont prometteuses lors de ses évaluations internes.
Accès open source et ressources matérielles requises
Praxis-1 est proposé avec poids et code sous licence Apache 2.0, ce qui autorise un usage commercial. Le modèle peut être téléchargé via Hugging Face après inscription et acceptation de conditions d’accès, et le code est disponible sur GitHub. Runway annonce des versions pré-adaptées pour différents robots, en plus du modèle de base. Ce dernier nécessite un GPU doté de 80 Go de mémoire. Selon les estimations de Runway, une version compressée devrait fonctionner sur un RTX 5090 avec 32 Go de VRAM, mais l’utilisation maximale de mémoire n’a pas encore été mesurée selon la documentation de GitHub.
Benchmarks : 46,2 % sur RoboLab-120 et 88 réussites sur bras réel
Sur le classement RoboLab-120 de Nvidia, qui évalue 120 tâches simulées de tri, de saisie et d’empilement, Praxis-1 atteint un taux de réussite de 46,2 %. FLUX 3 Action, construit sur une approche similaire, obtient 42,9 %, ce qui place Praxis-1 en tête de la catégorie des World Action Models et cinquième au classement général, derrière deux agents d’IA et deux modèles robotiques d’architectures différentes. Après un ajustement sur DROID, un test sur un bras Franka réel, avec dix tâches et dix tentatives par tâche, a abouti à 88 réussites pour Praxis-1 contre 80 pour FLUX 3 Action. Runway a aussi évalué le transfert vers une plateforme mobile à bras préhenseur non vue à l’entraînement, issue des travaux de Google pour RT-1. Après environ 95 heures d’ajustement, le modèle atteint selon Runway 80 % de réussite moyenne en simulation, sur quatre types de tâches incluant la préhension de canettes, l’ouverture et la fermeture de tiroirs, et le placement d’une pomme dans un tiroir. Sur ce même benchmark, RT-1 obtient 52,4 %.
L’IA créative vous passionne ?
Image, vidéo, son, design génératif : le meilleur chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Données d’entraînement : vidéo générale, DROID et besoin robot toujours présent
Praxis-1 repose sur un modèle vidéo général affiné avec des vidéos d’actions humaines et des données issues de robots. Cette démarche pourrait réduire la dépendance à des jeux de données strictement robotiques, mais nécessite encore des corpus dédiés. Pour adapter le modèle à un bras Franka, environ 277 heures du jeu public DROID ont été utilisées, avec des scènes de saisie et de déplacement d’objets. Pour un robot à double bras, l’entraînement a mobilisé entre 1 400 et 2 600 heures de données. Runway indique avoir déjà intégré des données DROID et d’autres systèmes à des étapes antérieures. Il n’est pas établi que l’approche requiert au total moins de données robotiques que des modèles sans pré-entraînement vidéo général.
Fonctionnement, positionnement et partenaires d’essai
Le modèle traite des images de caméra, des instructions textuelles et des informations de position pour prédire l’évolution de la scène et calculer les mouvements appropriés du robot, en ajustant son contrôle à mesure que de nouveaux cadres de caméra arrivent. Runway décrit Praxis-1 comme un World Action Model et mentionne des essais menés depuis septembre avec Standard Bots, Noble Machines et Ultra sur des plateformes variées, dont un robot humanoïde, un bras industriel et un robot d’entrepôt à double bras. Selon Runway, le modèle peut être adapté à de nouveaux systèmes par entraînement supplémentaire. Présenté fin septembre auprès de partenaires, Praxis-1 est désormais accompagné d’un rapport technique détaillé. Runway, connu pour ses modèles vidéo génératifs comme Gen-4.5, positionne ce système pour l’exécution rapide des mouvements et envisage qu’il puisse à terme fonctionner aux côtés de modèles généralistes chargés de décomposer les tâches complexes.
