Claude Opus 4.6 : leader de la maintenabilité du code IA

La génération de code par intelligence artificielle (IA) connaît une croissance rapide, mais elle pose des défis en matière de maintenabilité à long terme. Tous les modèles génératifs ne sont pas égaux dans leur capacité à produire du code durable. Le phénomène du vibe coding a accentué ce problème, car les agents d'IA tendent à générer du code fonctionnel sans prendre en compte les contraintes à long terme, souvent en ajoutant des dépendances tierces ou en réécrivant des stacks entières. Cela peut devenir un obstacle majeur pour les entreprises qui dépendent du modèle sous-jacent.

Des chercheurs de la Sun Yat-sen University et d'Alibaba ont étudié la qualité du code généré par différents modèles de langage de grande taille (LLM) sur la durée. Ils ont découvert que ces modèles ne produisent pas tous le même niveau de maintenabilité. Selon leurs recherches, certains modèles génèrent un code plus maintenable que d'autres, ce qui est crucial pour les entreprises.

SWE-CI : un benchmark pour la maintenabilité

Pour évaluer la maintenabilité du code généré par les LLM, les chercheurs ont mis au point un nouveau benchmark appelé SWE-CI. Contrairement aux benchmarks traditionnels comme SWE-bench, qui se concentrent sur la correction de bugs ponctuels, SWE-CI évalue la capacité d'un modèle à maintenir un logiciel sur le long terme.

Dans ce cadre, un projet logiciel open source extrait de GitHub est utilisé. L'IA reçoit une version ancienne du projet et doit la faire évoluer vers sa version actuelle, fonctionnalité par fonctionnalité, à travers des cycles de modifications successifs. En moyenne, l'écart entre les deux versions représente 233 jours de développement humain. Le dataset final inclut 100 tâches provenant de 68 projets Python matures et reconnus par la communauté des développeurs.

Le modèle doit découvrir lui-même les modifications nécessaires, analyser les écarts entre sa version et la version cible, identifier les problèmes prioritaires et les corriger. Ce processus peut se répéter jusqu'à 20 fois par tâche. Les résultats sont notés avec une métrique appelée EvoScore, qui valorise la qualité du code en fin de parcours. Un modèle qui produit du code propre et bien structuré dès le début aura encore de la marge de manœuvre en fin de parcours, tandis qu'un modèle qui empile des rustines finira par s'effondrer sous son propre poids.

Les résultats : Claude Opus 4.6 en tête

Les résultats de l'étude placent Claude Opus 4.6 en tête du classement avec un score de maintenabilité estimé entre 0.85 et 0.90, devançant largement ses concurrents. Claude Opus 4.5 et GLM-5 suivent avec des scores de 0.60 à 0.65. D'autres modèles comme Qwen3.5-plus, MiniMax-M2.5 et Kimi-K2.5 se situent autour de 0.45 à 0.50. DeepSeek-V3.2 et GPT-5.2 se trouvent en milieu de tableau.

En termes de capacité à éviter les régressions, Claude Opus 4.6 réussit dans 76% des tâches, tandis que Claude Opus 4.5 atteint 51%. Kimi-K2.5 et GLM-5 plafonnent à 37%, et GPT-5.2 tombe à 23%. La majorité des modèles testés échouent à préserver le code existant dans plus de 80% des cas.

L'importance du feedback humain

Ces résultats soulignent l'écart significatif entre le meilleur modèle et les autres, notamment en ce qui concerne la capacité à ne pas dégrader l'existant. Les modèles lancés après 2026 montrent une nette amélioration, signe que les fournisseurs commencent à optimiser leurs modèles pour la maintenabilité.

Cependant, le comparatif reste incomplet, car plusieurs modèles propriétaires n'ont pas été testés, comme Codex et Gemini. SWE-CI offre un benchmark que chaque entreprise peut utiliser pour évaluer ses propres modèles, et le dataset est disponible sur Hugging Face. Malgré les progrès, même le meilleur modèle comme Claude Opus 4.6 n'est pas exempt de failles. La supervision humaine demeure essentielle pour garantir la qualité du code généré.