Des chercheurs des universités de New York et du Texas ont évalué 14 modèles de langage et identifié six habitudes d'écriture qui rendent leurs textes plus difficiles à lire. Ils relient ces biais à des méthodes d'entraînement qui privilégient la densité d'information. Des ajustements sur certains modèles, comme Claude Opus 5.5, montrent qu'il est possible d'améliorer la lisibilité.
L'entraînement sans retour humain favorise un « dialecte » peu lisible
Les chercheurs expliquent que les modèles de langage récents sont de plus en plus entraînés sur des tâches où la justesse prime, comme les mathématiques, le code ou le raisonnement logique, sans que la clarté soit prise en compte. Le passage de l'apprentissage par renforcement à partir de retours humains (RLHF) à des méthodes où la récompense est vérifiable automatiquement (RLVR) retire l'humain du processus de retour. Selon eux, cela conduit les modèles à développer une forme de « dialecte » efficace pour compresser l'information et résoudre des problèmes complexes, mais qui reste difficile à lire pour les humains. Pour illustrer ce phénomène, l'équipe a entraîné un petit modèle avec une pénalité sur la longueur des réponses : dans certaines conditions, il privilégiait presque toujours des formulations plus courtes, même dans des contextes nouveaux. À l'inverse, les humains alternaient entre réponses courtes et longues selon la situation.
L'industrie décrit la même dérive stylistique, Anthropic réagit
Jackson Kernion, d'Anthropic, considère qu'Opus 4.6 a été le dernier « bon modèle d'écriture » de l'entreprise. Il attribue l'évolution du style de Claude à l'optimisation pour les mathématiques, le code et les explications techniques destinées à d'autres IA, une tendance qu'il nomme « adaptation à la psychologie des LLM ». Anthropic a indiqué avoir pris en compte la clarté des phrases et la surcharge d'information avec Opus 5.5. Opus 5.5 surpasse Opus 5 dans 19 des 21 comparaisons de lisibilité, ce qui correspond à l'objectif d'améliorer la clarté.
La recherche en IA vous passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Un protocole sur 14 modèles, trois genres de tâches et un corpus humain témoin
Quatorze modèles de langage ont été mobilisés, parmi lesquels Claude, GPT-5.6, GLM-5, Kimi K2.5 ainsi que des modèles open source tels que Llama et Olmo. Les chercheurs ont produit et examiné 120 dialogues, 45 sessions de programmation et 980 textes argumentatifs. Ces écrits ont été confrontés à des réalisations humaines provenant de sous-titres de films, de StackExchange et de dissertations d'étudiants dans le but de repérer les écarts de style et de structure.
Six habitudes qui alourdissent la lecture des textes générés
Six schémas récurrents apparaissent dans les textes générés par les modèles. Ceux-ci utilisent fréquemment des associations de mots peu courantes dans l'écriture humaine, comme « budget de patience du lecteur ». Ils éloignent des éléments syntaxiquement liés, ce qui augmente la charge de mémoire du lecteur, à l'exemple d'une phrase de Claude Opus 5 où une longue incise sépare le sujet du prédicat. Les références abrégées sans connecteur, telles que « le livre le professeur a écrit », sont également fréquentes et peuvent créer une confusion temporaire. Les empilements nominaux, comme « générateur de bande sonore de film d'horreur », laissent au lecteur le soin de démêler les relations entre les mots. Les modèles transforment aussi des noms en verbes dans des contextes inhabituels, comme « calendrier ça » produit par Claude Fable 5, et attribuent des verbes d'action à des sujets inanimés, tel « La conversation entière mange sa propre queue » généré par Claude Opus 5.
Des écarts marqués entre familles de modèles et effets de l'entraînement ultérieur
Dans le panel analysé, Llama et la version standard d'Olmo génèrent des textes présentant la plus grande proximité avec ceux rédigés par des humains. Au sein de la gamme Olmo, les résultats en matière de lisibilité augmentent du modèle standard à la version instructive, puis à Olmo Think, le modèle orienté raisonnement, indiquant ainsi l'influence de l'entraînement additionnel. Pour la gamme Claude, Opus 5.5 affiche de meilleures performances qu'Opus 5 dans 19 des 21 cas de figure, ce qui met en évidence l'apport d'un affinement spécifique sur la lisibilité.
