Agents IA et tests logiciels : le piège de la rapidité sans fiabilité

Confier l'écriture de tests logiciels à des agents d'intelligence artificielle peut sembler une solution séduisante pour gagner en efficacité. Cependant, cette approche n'est pas sans risques, comme le démontre une récente expérience avec Claude, un agent IA. Chargé de générer des tests pour un module de traitement des paiements, Claude a produit 47 tests en moins de deux minutes, tous réussis lors de leur première exécution. Pourtant, trois jours plus tard, un paiement client échouait en production à cause d'une condition de course non détectée par ces tests.

L'article met en lumière un problème majeur : les tests générés par l'IA tendent à optimiser pour la rapidité et la structure du code, négligeant souvent la vérification du comportement correct aux véritables limites du système. Par exemple, les tests de type "mock-call" peuvent passer avec succès même si le système en production échoue. De plus, le refactoring du code peut rendre ces tests fragiles, et l'IA manque souvent du contexte crucial nécessaire pour des tests d'intégration significatifs, tels que les transactions, les réessais, l'idempotence, la mise en cache et les garanties d'événements.

Le véritable coût de cette approche se révèle plus tard, dans la maintenance, le débogage et la fausse confiance qu'elle peut engendrer. Bien que l'IA soit efficace pour générer des données de test réalistes, des helpers d'assertion et expliquer des échecs, elle ne peut remplacer le jugement humain pour décider quoi tester, où se situent les limites et quels modes de défaillance sont importants.

Pour tirer le meilleur parti de l'IA dans le développement logiciel, l'article recommande de l'utiliser pour des tâches de "boilerplate" et de support, laissant aux développeurs le soin d'écrire la véritable logique de test qui garantit le comportement attendu du système, plutôt que de se contenter de vérifier l'implémentation.