L'IA peut-elle surpasser les auteurs de manuels ?

L'écriture par IA : entre promesses et réalités décevantes

Écrire un manuel sur l'intelligence artificielle soulève une question cruciale : combien de temps faudra-t-il avant que l'IA puisse accomplir cette tâche mieux qu'un humain ? L'écriture générée par l'intelligence artificielle suscite de nombreuses critiques, surtout lorsqu'il s'agit de textes créatifs ou à forte voix, comme les blogs. Ces critiques, y compris celles de nombreux experts, soulignent que la véritable écriture se caractérise par une voix distincte, un point de vue personnel et une expression profonde de l'humanité. Ces éléments sont souvent absents des productions des modèles de langage de grande taille (LLMs), qui, bien qu'ils deviennent des outils plus sophistiqués, semblent régresser dans leur capacité à produire des écrits véritablement inspirants.

En revanche, l'écriture non-fictionnelle, qui inclut des textes explicatifs et informatifs, semblait initialement être un domaine où les LLMs pourraient exceller. Sam Altman, lors d'un podcast récent, a évoqué la capacité des LLMs à générer du texte de remplissage et des copies utiles. Cependant, les défauts dans ce domaine sont souvent attribués à un manque d'intelligence générale des modèles ou à des problèmes de formation. Malgré des améliorations, ces modèles peinent à atteindre un niveau d'écriture non-fictionnelle de haute qualité.

Les défis de l'écriture non-fictionnelle pour les LLMs

La stagnation des modèles dans la production d'écrits non-fictionnels de long format est préoccupante, surtout pour ceux qui espèrent que ces technologies pourront résoudre de grands problèmes scientifiques de manière autonome. Actuellement, les modèles peinent à organiser et à présenter de manière convaincante même les sciences les plus établies. Cela constitue un obstacle majeur à leur capacité à résoudre des problèmes complexes et ouverts par eux-mêmes. Tant que ces défis ne seront pas surmontés, les progrès des LLMs dans le domaine scientifique resteront limités à la résolution de problèmes simples et à la création de connexions entre différents domaines, plutôt qu'à des découvertes révolutionnaires.

Cette position peut sembler paradoxale pour ceux qui sont optimistes quant aux avancées de l'IA, surtout à une époque où des entreprises comme Anthropic annoncent des progrès sur des problèmes mathématiques célèbres. Par exemple, Anthropic a publié un article de blog sur Claude, qui a fait des avancées sur la célèbre hypothèse de Riemann. Cependant, la portée des problèmes scientifiques est vaste, et il est peu probable que les modèles d'IA actuels puissent les couvrir aussi largement que certains le croient.

Pourquoi les progrès sont-ils lents ?

Beaucoup plus de progrès étaient attendus des modèles d'IA dans l'écriture non-fictionnelle, au point que publier un livre de ce type aurait presque pu paraître naïf. Certains des modèles les plus célèbres en matière de capacité d'écriture, comme le GPT 4.5 d'OpenAI et le Kimi K2 de Moonshot, sont déjà considérés comme anciens. Autour de ces sorties, les modèles sont passés de l'acceptable à l'humain supérieur dans d'autres tâches comme le codage et les mathématiques. Cependant, bien écrire semble être une compétence orthogonale à la plupart d'entre elles. L'écriture n'est sans doute pas simplement ignorée : elle est difficile, et il manque de bonnes données d'entraînement pour y intervenir spécifiquement.

Il y a certainement des opportunités faciles pour améliorer les modèles d'IA en matière d'écriture, comme des harnais spécialisés comme Claude Code, des prompts et des environnements d'entraînement qui font que les modèles dépensent beaucoup plus de jetons d'inférence sur la sortie, mais cela n'aura probablement pas d'impact multiplicatif sur leur capacité. Bien écrire est une tâche très difficile ! C'est dommage que l'échelle d'inférence n'ait pas été débloquée pour l'une des grandes quêtes intellectuelles.

Les limites actuelles des modèles d'IA

Aujourd'hui, les modèles semblent vraiment mauvais dans l'écriture technique de long format. Ils peuvent produire une phrase correcte, mais si vous essayez de les amener à écrire un chapitre entier, ce sera un mélange de formulations confuses, mal organisé et généralement un peu décalé. Ils essaient d'être trop mignons là où cela n'est pas nécessaire et, dans le processus, commettent des erreurs conceptuelles aléatoires. Les modèles dans un avenir proche s'amélioreront beaucoup sur les petites erreurs, surtout à mesure qu'ils deviendront plus grands, ce qui leur permettra de conserver plus de connaissances, mais leur capacité à les utiliser ne devrait pas se transformer.

Par exemple, les modèles GPT ont été incroyables pour trouver des fautes de frappe et des problèmes mineurs depuis longtemps. Lors d'un test, GPT 5.5 Pro a reçu au format PDF le brouillon presque final d'un manuscrit de 200-300 pages et y a trouvé des fautes de frappe mineures surprenantes. En revanche, les modèles Claude ont été beaucoup plus utiles en tant qu'éditeurs. Ils ont beaucoup plus de goût, tendent à mieux comprendre le modèle mental de la tâche et proposent des suggestions plus intéressantes pour débloquer les différentes formes de blocage de l'écrivain.

Ces exemples ont tous un thème cohérent. Les modèles savent comment vérifier chaque unité de contenu, généralement une phrase, une équation ou une figure, ou créer une section spécifique où vous êtes bloqué. Avec ces compétences, ils ne font pas un bon travail en revisitant les composants et en les reliant ensemble, car ils ajoutent de nombreuses choses les unes sur les autres. Cela ressemble à une sorte d'erreurs irréductibles qui s'accumulent. Ces erreurs étaient habituelles en mathématiques et en code, mais le RLVR a été une véritable solution magique pour les réduire.

Tirer de la valeur des modèles actuels en tant qu'écrivain

À l'usage, quelques phrases d'explication technique d'un manuel peuvent provenir d'un modèle d'IA, pour bien moins de 1 % du texte, lorsqu'elles sont réellement bonnes. Inclure quelques jetons d'IA dans un livre ne relève pas de la tricherie si un véritable expert estime que la phrase est ce dont le lecteur a besoin. C'est surtout dans le processus d'édition, qui demande un œil très attentif, que cette voie se révèle extrêmement précieuse. Par exemple, quand les questions d'un éditeur sont entrelacées dans un fichier LaTeX avec un délimiteur spécifique comme \editor{}, une approche consiste à laisser Claude Code naviguer vers chaque commentaire, imprimer le contexte avant et après, et indiquer s'il s'agit d'une simple correction de faute de frappe ou de quelque chose de plus nuancé. Il reste alors à écrire une réponse, c'est-à-dire le texte à insérer, ou à demander des suggestions à Claude avant de corriger. Intellectuellement, c'est un processus d'édition très concentré et une manière amusante d'améliorer un livre. Parfois, des phrases provenant des suggestions de Claude trouvent leur place dans le livre.

C'est définitivement une pente glissante : accepter quelques suggestions d'IA devient tentant lors de la seconde révision complète d'un manuscrit, quand le projet semble émotionnellement achevé alors qu'il reste du travail à faire. Il est beaucoup plus amusant d'écrire d'une manière qui est uniquement vous — à forte voix, tellement valorisée pour le processus — mais écrire un manuel standard n'est pas vraiment une activité connue pour être amusante. On comprend pourquoi les gens transforment les outils d'IA en béquille lorsque la plupart de leur écriture n'est qu'un produit pour remplir de l'espace, plutôt qu'un moyen d'atteindre un but. Écrire abondamment reste un moyen d'apprendre, de ressentir et d'exprimer.

Des équilibres similaires se retrouvent dans le travail scientifique. Les modèles d'IA sont excellents pour des parties répétitives du papier, comme la rédaction d'une section de travaux connexes ou de contexte que l'on connaît par cœur, mais les utiliser pour l'abstract, l'introduction, les expériences ou la conclusion est dommage. C'est là que l'histoire et l'âme du travail sont communiquées — c'est là que vous apprenez ce que votre recherche signifie vraiment.

Faire créer et vérifier un travail d'écriture non-fictionnelle par des modèles d'IA crée beaucoup plus de valeur nette. Ils rendent l'écriture d'équations triviale, peuvent aider à refactoriser le dépôt, à porter entre les langages et bien d'autres choses.

L'IA devient cruciale quand il faut maintenir simultanément des versions Markdown et LaTeX d'un livre à deux endroits, pendant que les lecteurs donnent des retours sur la version web et qu'une équipe éditoriale examine une copie dérivée. Sans agents d'IA, la synchronisation entre les deux prendrait facilement cinq fois plus de temps, pour une tâche qui se compte déjà en dizaines d'heures.

Autre constat, lié à l'usage des agents : votre rythme de compréhension ne s'accélérera pas en utilisant des agents. Cette compréhension, sous forme d'intuition, de goût, d'instinct, etc., est ce qui sera précieux à l'avenir. Utiliser l'IA pour l'écriture non-fictionnelle enlève de cette progression. De plus, si vous n'étiez pas déjà un expert, vous ne pourrez pas saisir ses défauts.

Quand l'urgence est de déverser des connaissances sur la page, utiliser les modèles d'IA peut être un outil précieux. Un manuel prend tout son sens lorsqu'il offre une référence unique pour des méthodes post-formation importantes comme l'échantillonnage par rejet ou l'entraînement de caractères, où il existe très peu de ressources.