Un banc d’essai basé sur 240 projets Upwork et une vérification humaine place Fable 5.2 en tête avec 41,3 % de missions livrées à niveau professionnel. L’écart avec ses prédécesseurs et ses rivaux est net, même si les organisateurs signalent encore des angles morts selon les types de tâches.
Un protocole sur missions réelles et une revue humaine obligatoire
Le Remote Labor Index évalue des missions complètes plutôt que des compétences isolées. Le corpus retient 240 projets menés par 358 professionnels vérifiés sur Upwork, pour une valeur d’environ 144 000 dollars. En moyenne, un projet coûte 632,60 dollars et mobilise un freelance humain un peu moins de 29 heures. Les tâches couvrent l’édition vidéo, la conception CAD, le développement de jeux ou encore l’analyse de données. Les agents d’IA travaillent dans un espace virtuel doté de logiciels tels que Blender, GIMP ou Audacity et d’outils de génération d’images, d’audio et de vidéo. Parmi les exemples figure la production d’un plan d’étage, d’options d’ameublement et de rendus photoréalistes de salles de bains. La validation repose sur des experts humains qui ouvrent les livrables dans les logiciels pertinents et les confrontent au travail produit par le freelance. Les tentatives du CAIS pour automatiser cette revue ont, jusqu’ici, échoué. Le CAIS évoque des évaluateurs automatiques incapables d’exploiter correctement les logiciels professionnels, vulnérables à des soumissions visuellement soignées mais techniquement défectueuses, et trop généreux dans leurs notations. L’indice mesure ainsi la fréquence à laquelle un agent livre un résultat accepté par un client payant.
Classement actuel: Fable 5.2 devance Opus 5.5 et GPT 6 Astra
Fable 5.2 occupe la première place du Remote Labor Index avec 41,3 %. Il est suivi par Opus 5.5 d’Anthropic à 21,25 % et par GPT 6 Astra d’OpenAI à 20,83 %. Le meilleur modèle de Google dans ce test, Gemini Argon 4, se classe cinquième avec 17,08 %, tandis que des versions plus anciennes comme GPT-5.2 ou Gemini 3 Pro restent sous les 3 %. Fable 5.2 fonctionne presque deux fois plus efficacement que les poursuivants. Ces résultats confirment un avantage sur son prédécesseur direct et sur les autres acteurs évalués.
Vous voulez les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Une accélération en quelques mois par rapport aux précédents modèles
En juillet, Fable 5 menait encore avec environ 16 %, après une période de huit mois durant laquelle la part de missions livrées à un niveau professionnel par les meilleurs agents avait plus que quadruplé. Quatre mois plus tard, Fable 5.2 affiche un taux de 41,3 %, ce qui représente environ deux fois et demie la performance de Fable 5 en juillet. La version précédente immédiate, Fable 5.1, se situe juste en dessous de 18 %, quand Fable 5.2 en réalise plus du double. Le contraste avec les débuts du benchmark est marqué : au lancement, le meilleur système, Manus, ne dépassait pas 2,5 % des tâches, un niveau que Fable 5.2 surpasse désormais de plus de 16 fois. Globalement, Fable 5.2 complète plus de 41 % de projets avec une qualité jugée professionnelle.
Forces en audio, 3D et architecture, limites en produits et animation
Scale Labs signale les plus fortes avancées de Fable 5.2 en édition audio et musicale, en conception architecturale et d’aménagement intérieur, ainsi qu’en modélisation 3D. L’agent traite aussi des projets longs et complexes que des systèmes mieux notés auparavant échouaient à mener à terme. Près de 50 de ses réussites portent sur des missions qu’aucun agent n’avait encore résolues dans ce test. Dans le même temps, Scale Labs indique des difficultés persistantes en conception de produits industriels et en animation. Les chercheurs décrivent, lors des échecs, des livrables d’allure amateure, des résultats incomplets, des fichiers corrompus ou des conceptions incohérentes.
