Tu codes avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Une étude approfondie sur l'impact du "brouillon AI"
Une étude qualitative récente a mis en lumière la frustration croissante des développeurs face à la qualité médiocre du code généré par l'intelligence artificielle, souvent désigné par le terme "brouillon AI". Cette situation est décrite comme une "tragédie des biens communs", où les bénéfices individuels obtenus grâce à l'IA se font au détriment de la communauté open-source. Les chercheurs des universités de Heidelberg, Melbourne et de gestion de Singapour ont analysé 1 154 publications issues de 15 fils de discussion sur Reddit et Hacker News. L'étude s'est concentrée sur les discussions contenant le terme "AI slop", ce qui a biaisé les résultats vers une perception négative de l'IA. Les expériences positives ou neutres n'ont pas été prises en compte, limitant ainsi la portée des conclusions à un sous-groupe critique.
À partir de ces données, les chercheurs ont développé un codebook comprenant 15 catégories réparties en trois clusters thématiques : Friction de révision, Dégradation de la qualité, et Forces et conséquences. Ces catégories permettent de structurer les critiques des développeurs et de mieux comprendre les enjeux liés à l'utilisation de l'IA dans le développement logiciel.
Les conséquences d'une productivité individuelle accrue
L'étude souligne que le "brouillon AI" est perçu comme une tragédie des biens communs. Les développeurs et entreprises tirent parti de l'IA pour augmenter leur productivité, mais cela se fait au détriment des réviseurs et de la communauté. Les bases de code accumulent de la dette technique, les ressources de connaissance se dégradent, et la confiance dans le développement collaboratif s'érode. Le problème est particulièrement aigu dans le domaine open-source, où les ressources sont maintenues par des bénévoles. Des exemples concrets incluent le projet curl, qui a dû fermer son programme de récompense pour les bogues en raison de rapports de vulnérabilité générés par l'IA, et des problèmes similaires ont été observés avec Apache Log4j 2 et le moteur de jeu Godot.
Les développeurs ont également rapporté avoir des flux de travail AI imposés par la direction. Dans certains cas, des cadres supérieurs ont directement intégré les résultats de l'IA pour résoudre des problèmes techniques, sans consultation approfondie de l'équipe, ce qui a exacerbé les tensions et les frustrations.
Le fardeau des réviseurs de code
Les développeurs critiquent également le fardeau accru pour ceux qui doivent réviser le code généré par l'IA. Un développeur a noté que bien que le temps de développement ait été réduit, l'équipe doit passer plus de temps à réviser, ce qui n'est pas perçu comme un avantage. Une équipe a rapporté recevoir 30 demandes de tirage par jour avec seulement six réviseurs disponibles. Les réviseurs se sentent transformés en "ingénieurs de prompt" non rémunérés, chargés de comprendre et d'évaluer le code brouillon de l'IA. Ils ont développé des heuristiques pour identifier le code généré par l'IA, comme la présence d'emojis dans les commentaires ou des motifs de commentaires étape par étape.
La confiance dans les processus collaboratifs est également mise à mal. Un développeur a décrit une demande de tirage d'un agent AI en exprimant son scepticisme quant à la fiabilité du code : "Je ne sais pas comment vous pourriez faire confiance à quoi que ce soit à un moment donné. Pas de réelle compréhension de ce qu'il fait, il ne fait que deviner."
Stratégies pour contrer les effets négatifs
Face à ces défis, l'étude documente des contre-mesures mises en place par les développeurs :
- Limiter la taille des demandes de tirage contenant du code généré par l'IA à moins de 500 lignes de code.
- Imposer des auto-révisions avant les révisions par les pairs.
- Mettre en place des walkthroughs de code synchrones et des doubles révisions avec des équipes externes.
- Lier la responsabilité des développeurs aux évaluations de performance.
Les chercheurs recommandent que les développeurs d'outils se concentrent davantage sur la vérification et la révision du code plutôt que sur sa génération. Les leaders d'équipe devraient réévaluer les critères d'évaluation de la productivité pour inclure les coûts de révision. Enfin, les institutions éducatives devraient limiter l'utilisation des outils AI dans les premiers cours pour favoriser le développement de compétences fondamentales chez les étudiants. La production de résultats seule n'est pas une preuve de compétence, affirment-ils.