Microsoft Research : les IA dégradent 25% des documents longs

Les systèmes d'intelligence artificielle, lorsqu'ils sont confrontés à des tâches complexes et de longue durée, peuvent sérieusement compromettre l'intégrité des documents qu'ils traitent. Une étude récente de Microsoft Research met en lumière ce problème, révélant que les modèles de langage de grande taille (LLM) peuvent corrompre silencieusement jusqu'à 25 % des documents d'entreprise lors de tâches longues. Même les modèles les plus avancés, comme Gemini 3.1 Pro, Claude 4.6 Opus et GPT 5.4, ne sont pas épargnés, affichant une dégradation similaire sur des flux de travail étendus. D'autres modèles peuvent échouer encore plus sévèrement, avec une moyenne de tous les modèles se situant aux alentours de 50 %. Cependant, Python tire son épingle du jeu en atteignant le seuil de 98 % de fidélité.

Lorsqu'une IA doit gérer des milliers de pages ou des heures de transcription audio, elle doit être capable de traiter une quantité massive d'informations simultanément. Ce contexte long est particulièrement sujet à des erreurs, comme l'indique l'étude de Microsoft Research. La fiabilité des LLM diminue significativement avec la complexité et la longueur des tâches. Heureusement, il existe différentes solutions pour minimiser le risque et garantir la fiabilité des systèmes IA.

Fractionner les tâches complexes

Pour atténuer ces dégradations, l'étude recommande de diviser les tâches complexes en micro-tâches vérifiables. Chaque tranche de 1 000 tokens supplémentaires entraîne une dégradation moyenne de 3,6 % après 20 interactions. En fractionnant le travail, chaque étape devient plus gérable et vérifiable, ce qui réduit les erreurs. Une étude de 2025 démontre que cette approche peut améliorer l'exactitude des modèles de 9 à 40 % par rapport à une méthode standard. Dans le cas des systèmes argentiques, chaque agent travaille sur une petite partie du problème, ce qui réduit le risque d'erreur globale. Par exemple, pour l’onboarding, l’agent inspecteur contrôle la présence des fichiers administratifs dans un dossier, tandis que l’agent "secrétaire RH" prend le rapport brut de l'inspecteur et le transforme en un message aimable.

Vérification humaine et RAG

L'intégration de boucles de rétroaction humaine, ou "human-in-the-loop", est également cruciale. Ces mécanismes permettent de vérifier l'exactitude des réponses à chaque étape. L'étude "Applications, challenges, and future directions of human-in-the-loop learning" met en évidence que les systèmes human-in-the-loop peuvent atteindre une haute précision dans la détection de fiabilité (0,95). Lors d’une demande pour créer un document, on peut par exemple demander à l’IA de créer un brouillon demandant une relecture et une validation à différentes étapes. Pour le système agentique, on peut insérer dans le code Python des "checkpoints" afin qu’une relecture humaine s'assure de la qualité de la réponse.

De plus, l'utilisation du RAG (Retrieval Augmented Generation) aide à fournir des informations récentes et pertinentes, minimisant ainsi les hallucinations des modèles. Si leurs données d’entrainement sont obsolètes ou incomplètes, les LLM peuvent inventer des réponses. L'étude de Microsoft Research montre que les LLM peuvent oublier des informations clés au fur et à mesure que le contexte s'allonge. Dans ce contexte, fournir des informations récentes et fiables issues de ses propres bases de données peut être judicieux. Dans le cas du RAG, seules les informations pertinentes sont fournies au LLM comme contexte pour générer sa réponse, ce qui réduit considérablement les hallucinations.

Journalisation des interactions

Enfin, la mise en place d'une journalisation détaillée des interactions de l'IA est essentielle pour identifier et corriger les corruptions silencieuses. Enregistrer chaque requête, réponse et validation humaine permet d'auditer les performances et d'améliorer continuellement le système. Selon une analyse des meilleures pratiques en matière de débogage par l'IA en 2025, les outils de débogage basés sur l'IA ont vu leurs taux de résolution de problèmes s'améliorer de 4,4 % en 2023 à 69,1 % en 2025. Bien que ce chiffre ne soit pas directement attribué au logging seul, la journalisation détaillée permet à ces outils de fonctionner efficacement. Des plateformes comme Datadog LLM Observability, LangSmith ou Arize Phoenix offrent des solutions pour surveiller et résoudre les problèmes des systèmes IA tout au long de leur cycle de vie. On peut également enregistrer les interactions avec l'IA en intégrant un système de journalisation dans l’application. Chaque appel à l'IA, chaque donnée traitée et chaque validation humaine sont horodatés et enregistrés, permettant ainsi d'auditer les performances, d'identifier les schémas d'erreur et d'améliorer continuellement le système.