Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
La délégation de tâches aux LLM : un risque pour l'intégrité des documents
Nous vivons une époque où l'intelligence artificielle ne se limite plus à répondre à des questions, mais prend en charge des tâches complexes et prolongées. Les utilisateurs font désormais confiance aux modèles de langage de grande taille (LLM) pour gérer des tâches variées, allant de l'édition de code à la mise en forme de documents professionnels, voire à la gestion de livres comptables. Cette confiance accrue soulève des questions sur la capacité de ces systèmes à préserver l'intégrité des documents à travers de multiples interactions.
Une étude récente met en lumière un problème inquiétant : lorsque des tâches sont déléguées à un LLM, il peut corrompre les documents de manière silencieuse. Pour explorer ce phénomène, les chercheurs ont mis en place un cadre d'évaluation rigoureux appelé "DELEGATE-52". Ce benchmark couvre 52 domaines professionnels, incluant des textes juridiques, de la programmation Python, de la notation musicale et même de la cristallographie.
Les chercheurs ont testé un total de 19 LLM distincts en utilisant une méthode de simulation intelligente basée sur une approche de "round-trip". Cette méthode consiste à demander à l'IA d'effectuer une modification spécifique, puis de réaliser l'instruction inverse pour annuler les modifications. Dans un scénario idéal, le modèle devrait restituer le document original intact. Cependant, même les modèles les plus performants, tels que Gemini Pro, Claude Opus et GPT-5, peuvent corrompre 25 % du contenu original après 20 interactions. Les modèles moins performants peuvent atteindre une corruption de 50 %.
Les causes de la corruption des documents par les LLM
Accumulation d'erreurs
Une des raisons principales de cette corruption est l'accumulation d'erreurs. Comme dans le jeu du téléphone, de petites erreurs commises par les LLM peuvent s'accumuler et devenir significatives. Une seule modification peut introduire des erreurs localisées, mais une séquence de modifications complexes peut aggraver le problème à long terme, entraînant une dégradation drastique du document au fil du temps.
Suppression et hallucination
L'étude révèle également un contraste frappant dans la manière dont différents types de modèles échouent. Les modèles plus faibles ont tendance à supprimer du contenu, ce qui rend le problème visible après plusieurs interactions en raison d'une diminution évidente du contenu global du document. En revanche, les LLM de pointe, comme GPT-5, ne suppriment pas le contenu mais le corrompent. Ils conservent l'aspect général du document, maintenant même un nombre de mots presque intact, mais modifient silencieusement, altèrent ou remplacent des informations factuelles par des fabrications qui semblent encore plausibles. Plus le modèle est intelligent, plus il devient difficile de détecter son comportement corrompu, car la sortie finale semble légitime à première vue.
Surcharge de contexte
Les modèles ont également du mal à maintenir l'information structurellement intacte dans des conditions désordonnées, c'est-à-dire lorsque beaucoup d'informations contextuelles ou de documents joints excessifs sont présents. À mesure que la taille du document augmente ou que davantage de "fichiers distracteurs" sont inclus dans le contexte de l'invite, la gravité et l'impact de la dégradation explosent. Le modèle n'adhère plus au texte source, car il trouve plus facile de simplement deviner.
Familiarité avec le domaine
Enfin, la familiarité du modèle avec le domaine d'application joue un rôle crucial. Tous les fichiers ne se dégradent pas de la même manière dans les tâches basées sur la délégation. Selon l'étude, les LLM fonctionnent bien dans des domaines hautement structurés et programmatiques, tels que le code source Python. C'est lorsqu'ils sont poussés à des tâches de langage naturel pur ou à un formatage spatial de niche qu'ils perdent rapidement le sens strict de la logique interne nécessaire pour garder les fichiers totalement intacts.
Les limites des outils agentiques
Même lorsque les LLM sont améliorés avec des outils agentiques, tels que la capacité d'exécuter du code ou de lire et écrire directement des fichiers, le problème de la corruption et de la dégradation des documents basés sur la délégation ne disparaît pas. En fait, les ajouts agentiques font peu ou rien pour prévenir un problème qui se produit au cœur de l'architecture transformer sous-jacente aux LLM. Il est nécessaire de repenser comment les tâches d'IA à long terme devraient être vérifiées. D'ici là, utiliser les LLM comme éditeurs de documents totalement non supervisés reste un pari à haut risque.
Iván Palomares Carrascosa, un expert reconnu dans le domaine de l'IA, souligne l'importance de former et de guider les utilisateurs pour exploiter ces technologies tout en étant conscients de leurs limites.
