Des assistants de codage surestiment le temps nécessaire aux tâches

Deux assistants de codage testés dans le cadre du programme MATS surestiment largement la durée des tâches et peinent à rapporter le temps passé. Les écarts dépendent aussi du logiciel qui les encadre, compliquant la conduite de travaux au long cours.

Respecter une durée fixée reste incertain, sauf avec un outil de suivi

Les chercheurs estiment que la capacité d'auto-évaluation est essentielle pour confier à un agent des tâches qui s'étendent sur plusieurs heures. Ils mentionnent que pour suivre des instructions telles que « itérer sur cette tâche pendant deux heures », il faut que l'agent puisse mesurer le temps écoulé de façon fiable. Un agent qui se trompe régulièrement sur la durée devient difficile à contrôler, ce qui complique la gestion de travaux longs. Les chercheurs prévoient de tester si ces systèmes peuvent respecter une durée de travail imposée. Lorsque les modèles ont eu accès à un outil affichant le temps écoulé, ils ont presque toujours indiqué correctement ce temps.

Le comportement change selon le harness, jusqu'au nombre d'étapes

Les résultats varient selon la configuration logicielle dans laquelle les agents fonctionnent. Claude Code poursuit la tâche jusqu'à estimer qu'elle est terminée, avec une médiane d'environ 90 minutes. Codex, de son côté, interrompt le processus après approximativement 30 minutes, indépendamment du niveau de difficulté. Le même modèle de langage réalise en moyenne 2,5 fois plus d'étapes dans Claude Code que dans Codex. De ce fait, le temps d'exécution est fonction à la fois du modèle choisi et de l'environnement logiciel employé.

Des estimations gonflées, surtout pour les tâches courtes

Les assistants de codage évaluent mal la durée nécessaire et le temps déjà passé sur une tâche. Dans l'ensemble des tests, ils surestiment systématiquement le temps requis. Sur ProgramBench, leurs prévisions étaient principalement autour de 90 minutes, indépendamment de la difficulté. Lors d'un second passage, Claude surestimait en moyenne par un facteur trois, tandis que Codex se situait entre six et dix fois la durée réelle. Les erreurs étaient particulièrement importantes pour les tâches courtes, et seules certaines prédictions sur des tâches de plusieurs heures se rapprochaient de la réalité.

Protocole et écarts chiffrés sur plusieurs modèles

Deux chercheurs indépendants en IA, dans le cadre du programme MATS, ont évalué Claude Code d'Anthropic et Codex d'OpenAI. Avant chaque tâche, les agents devaient estimer la durée prévue puis, après exécution, indiquer le temps écoulé. Les tests portaient sur 200 tâches issues de ProgramBench et sur 18 benchmarks conçus par les chercheurs. Parmi les modèles évalués, Fable 5 surestimait en moyenne par environ trois, et GPT-5.6 Sol par environ sept, avec un écart particulièrement marqué sur les tâches courtes. Les agents étaient également peu fiables pour juger la qualité de leur propre production : les modèles plus anciens Opus 4.8 et GPT-5.5 surestimaient leurs scores de 20 points en moyenne et ont évalué un essai à 70 % de réussite, alors que les scores réels étaient de 7 % et 14,5 %.