Les agents IA de codage : experts en fichiers, pas en lignes

Un référentiel innovant dévoile les limites des agents de codage IA

Dans le monde en constante évolution du développement logiciel, les agents de codage basés sur l'intelligence artificielle (IA) sont souvent jugés sur leur capacité à corriger des bugs. Cependant, une nouvelle étude met en lumière une faiblesse insoupçonnée de ces agents : bien qu'ils identifient le bon fichier dans lequel se situe le problème, ils échouent souvent à repérer les lignes de code spécifiques qui nécessitent une correction. Cette découverte provient d'une équipe de recherche internationale, incluant l'Université Jiao Tong de Shanghai, qui a développé un référentiel nommé SWE-Explore. Ce dernier se concentre sur la première étape du processus de correction, à savoir la localisation des sections de code pertinentes à partir d'une description de bug.

Traditionnellement, les référentiels évaluent les agents de codage IA en fonction de leur capacité à réparer un bug, sans se soucier de savoir si l'agent a effectivement consulté le code pertinent. SWE-Explore se distingue en isolant cette phase de recherche initiale, permettant ainsi d'évaluer la capacité des agents à identifier les sections de code cruciales avant même de tenter une correction.

Des réussites comme référence pour l'évaluation

Pour établir une base de référence solide, les chercheurs ont analysé un ensemble de 848 problèmes pour lesquels au moins deux solutions réussies ont été trouvées par des modèles avancés tels que GPT-5.4, Gemini 3 Pro, Claude Sonnet 4.6 et Kimi K2.6. En examinant les fichiers et les lignes de code que ces modèles ont réellement consultés, l'équipe a pu identifier les passages qui convergent vers une solution, servant ainsi de signal de contexte utile.

Plutôt que de déterminer manuellement les sections de code nécessaires, l'équipe a dérivé sa référence des traces de lecture des réussites. Un second test a ensuite été effectué pour vérifier si de meilleurs scores de recherche se traduisaient par des réparations plus efficaces.

La recherche par mots-clés : une méthode dépassée

L'étude a comparé les méthodes de recherche traditionnelles à cinq agents de codage généralistes, tels que Claude Code, Codex, OpenHands, Mini-SWE-Agent et AweAgent, ainsi qu'à quatre systèmes de recherche spécialement conçus pour le code. Les résultats montrent que la recherche par mots-clés, une méthode classique, n'est guère plus efficace que le hasard. Par exemple, des termes comme "RuntimeWarning on Overflow" apparaissent fréquemment dans les documents de projet, mais rarement dans le code source, ce qui induit les agents en erreur.

Les agents IA, en revanche, se distinguent par leur capacité à explorer le projet de manière séquentielle, plutôt que de se contenter de trier les résultats en une seule fois, ce qui leur confère un avantage certain.

Une précision défaillante au niveau des lignes

Bien que les agents de codage soient performants pour identifier le bon fichier source, leur efficacité chute dramatiquement lorsqu'il s'agit de cibler les lignes de code individuelles. Les agents généralistes ne parviennent à couvrir que 14 à 19 % des lignes réellement pertinentes.

Pour évaluer cette performance, les résultats classés par un agent sont comparés aux régions clés identifiées à partir des réussites. Si les agents réussissent à localiser le bon fichier, leur couverture des lignes essentielles reste inégale.

Même l'utilisation de modèles de langage plus puissants ne résout pas ce problème. L'équipe a testé le même agent avec plusieurs modèles de différentes entreprises, notamment OpenAI, Anthropic, Google, Moonshot et Zhipu. Bien que la famille GPT se distingue légèrement, le schéma reste le même : les taux de réussite au niveau des fichiers sont systématiquement plus élevés que la couverture des lignes.

CoSIL : une exception notable

Parmi les différentes architectures d'agents, le système de recherche CoSIL se démarque. En analysant le code comme un réseau de blocs interconnectés, CoSIL parvient à une couverture des lignes bien supérieure. Parmi les systèmes spécialisés, AutoCodeRover se montre précis mais prudent, tandis que OrcaLoca minimise le bruit mais manque des points pertinents.

L'importance d'un contexte suffisant pour les réparations

Dans une expérience d'ablation contrôlée, l'équipe a varié artificiellement le contexte visible pour le modèle de réparation. Les résultats montrent qu'un effet de seuil clair apparaît : tant que moins de la moitié des régions clés sont visibles, les réparations échouent principalement.

Le taux de succès ne s'améliore que lorsque la couverture atteint entre 50 et 75 %. Pour les tâches plus difficiles, même un meilleur contexte n'apporte pas de bénéfice significatif si le problème dépasse déjà les capacités du modèle.

Une fois que les points critiques sont disponibles, le code supplémentaire non pertinent n'affecte que peu la performance. Un agent qui lit trop peu fait pire qu'un agent qui lit trop. La conclusion est claire : pour améliorer les performances futures, il faut filtrer moins et lire davantage. Le code et les données de cette étude sont disponibles sur GitHub et Hugging Face.

Il y a environ deux ans, le référentiel SWE-bench a été créé pour tester les agents de codage IA contre de véritables rapports de problèmes GitHub. Depuis, plusieurs variantes ont vu le jour, couvrant plus de langages et des tâches professionnelles plus complexes. Cependant, la métrique de succès sous-jacente est de plus en plus remise en question. Une étude de l'organisation METR a révélé que de nombreuses solutions acceptées par les réviseurs automatisés seraient rejetées par les chefs de projet en raison d'erreurs fonctionnelles de base.