IA produit : prioriser la chasse aux erreurs

Un flux de travail en trois étapes, réalisable en environ 30 minutes avec un agent de codage, a été appliqué dans plus de 50 entreprises pour débusquer des défauts majeurs dans des produits d’IA. Cette approche place la découverte d’erreurs avant l’écriture de métriques et s’appuie sur des traces complètes des sessions pour transformer l’intuition produit en tests répétables.

Un protocole en 3 étapes appliqué chez plus de 50 entreprises

Un processus en trois étapes permet de conduire la découverte d’erreurs avec un agent de codage comme Codex ou Claude. Utilisé avec plus de 50 entreprises, il a mis au jour, à chaque déploiement, des défauts majeurs nuisant à l’expérience client. Une fois les bases acquises, l’ensemble du flux se réalise en environ 30 minutes.

Démarrer par les traces et les consigner correctement

La première étape consiste à travailler à partir de traces, indispensables à la découverte d’erreurs. Chaque trace regroupe l’entrée de l’utilisateur, le prompt système, toutes les actions intermédiaires (récupération, appels d’outils, appels de modèles) et la sortie finale du produit. Ces éléments doivent être suffisants pour permettre à un examinateur de reconstituer le déroulé et d’en juger la qualité.

Instrumentation, stockage local et fournisseurs possibles

Les traces peuvent être stockées dans une base de données, via un fournisseur d’évaluations ou simplement dans un dossier local. À des fins de simplicité, un dossier local peut être retenu. Si l’application ne produit pas encore de traces, un agent de codage peut l’instrumenter pour enregistrer chaque session utilisateur comme une trace complète, incluant l’entrée, le prompt, les appels d’outils et leurs résultats, le contexte récupéré, les appels de modèles intermédiaires et la sortie finale. Si des fournisseurs comme LangSmith, Arize, Phoenix ou Langfuse sont déjà en place, il est recommandé de continuer avec eux tout en écrivant une copie locale au format JSON Lines (un objet par session) dans traces/traces.jsonl. En l’absence de fournisseur, ce fichier JSONL suffit. Une fois l’instrumentation réalisée, il faut laisser l’activité utilisateur s’accumuler pour collecter des traces.

Des gains mesurés : coûts en baisse et précision en hausse

Des entreprises rapportent des effets concrets après avoir structuré leurs produits autour d’évaluations. Shopify a conçu un constructeur de flux IA 2,2 fois plus rapide et 68 % moins cher que le système précédent. Cursor indique une forte hausse de la satisfaction utilisateur et une baisse des coûts de 41 % grâce à l’amélioration du routage Auto Balance. Ramp fait état d’une augmentation de la précision de 35 % à 83 % sur la collecte automatique de reçus. Harvey a presque doublé son score de qualité interne en reconstruisant son réviseur de contrats avec des évaluations. Rippling, Glean, Abridge, ElevenLabs et Robinhood décrivent également une utilisation systématique des évaluations pour faire progresser leurs produits.

Pourquoi prioriser la découverte d’erreurs avant les métriques

Beaucoup d’équipes sautent la découverte d’erreurs pour écrire des métriques, parce que fouiller des sessions semble lent et que les métriques paraissent plus simples à automatiser. Cette précipitation pousse à formuler des hypothèses inadaptées et à mesurer à contre-emploi. La découverte d’erreurs est à l’évaluation ce que la découverte de produit est au produit : elle identifie quels échecs valent d’être mesurés et évite les tableaux de bord génériques qui gaspillent du temps et mènent à de mauvais résultats. Dans des systèmes IA faciles à modifier mais difficiles à prévoir, où un changement peut en détériorer un autre, les évaluations transforment le jugement en tests répétables, convertissent les erreurs de production en cas de test et permettent de livrer plus vite en vérifiant automatiquement le bon fonctionnement. Le processus recommandé comprend la découverte et l’analyse des erreurs, la création de métriques personnalisées et une boucle d’amélioration continue ; si une seule étape doit être traitée, la découverte d’erreurs est à prioriser.

Une compétence adoptée par les PM et soutenue par des dirigeants

La rédaction d’évaluations gagne du terrain chez les chefs de produit, avec près de la moitié de 25 offres récentes exigeant cette compétence. Mike Krieger souligne que l’aptitude à écrire des évaluations est probablement la plus importante à transmettre aux responsables produit. Garry Tan la décrit comme un rempart stratégique pour les startups d’IA. Plusieurs intervenants assimilent les évaluations à de nouveaux PRD, tandis que des entreprises affirment récolter les fruits de leurs investissements en la matière.