Un test bâti sur des demandes réelles d'utilisateurs rebat les cartes pour les agents de codage. Le meilleur modèle ne valide intégralement qu'une tâche sur quatre environ, et le classement change selon l'environnement d'exécution. Les entreprises sont invitées à évaluer ensemble modèle et cadre.
Le classement varie fortement selon le cadre d’exécution
Les chercheurs ont exécuté les mêmes modèles d’agent dans plusieurs environnements qui leur permettent de lire, écrire et exécuter du code. Selon le cadre, Qwen3.8-27B atteint 75 % ou seulement 56 % sur des révisions volumineuses. Le modèle le mieux classé change également avec l’environnement. Il est recommandé de toujours préciser le couple modèle–environnement, et, pour les entreprises, de tester ces deux composants en tandem. Une étude de METR a déjà documenté l’écart entre performances sur bancs d’essai et adoption réelle, avec un taux d’acceptation du code par des chefs de projet environ 24 points de pourcentage inférieur aux scores sur SWE-bench Verified. Des défauts d’environnement peuvent en outre permettre de valider une tâche sans la résoudre réellement. L’effet propre des cadres sophistiqués reste d’ailleurs incertain : une étude récente n’a trouvé que peu de gains mesurables, malgré une consommation allant jusqu’à trois fois plus de tokens.
Des succès partiels majoritaires et des besoins de correction humaine
GPT-6 Astra couvre en moyenne environ 70 % des exigences d’une tâche, mais le résultat n’est totalement correct que dans 26,4 % des cas. La plupart du temps, un détail reste à reprendre, ce qui impose des corrections manuelles. Même sur les meilleures configurations, GPT-6 Astra ne boucle que 41 % des tâches multimodales et un peu moins de 18 % des tâches de dépôt. Dès qu’une mission combine plusieurs types de changements — mise en page, design, interaction, contenu — la performance baisse pour tous les modèles, une situation pourtant fréquente dans les projets réels. Chacun des dix modèles obtient de moins bons scores quand trois ou quatre types de modifications sont requis. Accroître la puissance de calcul n’apporte que peu d’amélioration : GLM-5.2 utilise presque six fois plus de tokens que GPT-6 Astra pour de simples ajustements et obtient des résultats nettement inférieurs. Côté hiérarchie, Claude Opus 5 et Qwen3.8-Max suivent GPT-6 Astra, tandis que Grok 4.6 ferme la marche. Lors de révisions plus lourdes, le plus petit Qwen3.8-27B grimpe à la deuxième place, sans qu’un avantage général ne lui soit attribué. Au total, ces résultats signifient qu’une intervention humaine reste nécessaire pour près de trois tâches sur quatre, sur les deux pistes du benchmark.
Vous codez avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Pourquoi les anciens tests n’aident plus à départager les agents
Les benchmarks de codage classiques sont jugés saturés : une fois capables d’exécuter, vérifier et corriger leur propre code, les modèles dépassent 99 % et les écarts deviennent difficiles à mesurer. Sur des jeux comme WebCompass-edit, les agents tutoient le sans-faute, alors que le nouveau protocole laisse plus de 35 points de pourcentage d’écart. Par ailleurs, des défauts d’environnement peuvent gonfler artificiellement les résultats, et des cadres plus élaborés n’apportent que peu de bénéfices mesurables, malgré une consommation jusqu’à triplée de tokens.
Ce que mesure Co-Design Bench et ses limites
Co-Design Bench évalue des agents sur des demandes issues de sessions de codage réelles. Les concepteurs ont retenu des cas qui avaient nécessité des reformulations ou des annulations de changements, pour concentrer l’évaluation sur des difficultés « vécues » par les agents. Les tâches couvrent de petites retouches, comme l’extraction d’un montant sur un reçu et la mise à jour de tous les totaux dépendants, jusqu’à des refontes complètes. Une des pistes multimodales consiste à récupérer des valeurs à partir de reçus, de tableaux ou de vidéos, puis à reporter ces données de façon cohérente dans les vues associées. Le protocole maintient néanmoins des limites précises : chaque tâche ne reçoit qu’une unique instruction initiale, sans possibilité de poser des questions complémentaires ni d’apporter des corrections pendant l’exécution, et les jugements sont réalisés par des IA qui peuvent se tromper.
