L'IA peut-elle surpasser les auteurs de manuels ?

L'écriture par IA : entre promesses et réalités décevantes

L'auteur de cet article a récemment écrit un manuel sur l'intelligence artificielle et se pose une question cruciale : combien de temps faudra-t-il avant que l'IA puisse accomplir cette tâche mieux que lui ? L'écriture générée par l'intelligence artificielle suscite de nombreuses critiques, surtout lorsqu'il s'agit de textes créatifs ou à forte voix, comme les blogs. Ces critiques, y compris celles de nombreux experts, soulignent que la véritable écriture se caractérise par une voix distincte, un point de vue personnel et une expression profonde de l'humanité. Ces éléments sont souvent absents des productions des modèles de langage de grande taille (LLMs), qui, bien qu'ils deviennent des outils plus sophistiqués, semblent régresser dans leur capacité à produire des écrits véritablement inspirants.

En revanche, l'écriture non-fictionnelle, qui inclut des textes explicatifs et informatifs, semblait initialement être un domaine où les LLMs pourraient exceller. Sam Altman, lors d'un podcast récent, a évoqué la capacité des LLMs à générer du texte de remplissage et des copies utiles. Cependant, les défauts dans ce domaine sont souvent attribués à un manque d'intelligence générale des modèles ou à des problèmes de formation. Malgré des améliorations, ces modèles peinent à atteindre un niveau d'écriture non-fictionnelle de haute qualité.

Les défis de l'écriture non-fictionnelle pour les LLMs

La stagnation des modèles dans la production d'écrits non-fictionnels de long format est préoccupante, surtout pour ceux qui espèrent que ces technologies pourront résoudre de grands problèmes scientifiques de manière autonome. Actuellement, les modèles peinent à organiser et à présenter de manière convaincante même les sciences les plus établies. Cela constitue un obstacle majeur à leur capacité à résoudre des problèmes complexes et ouverts par eux-mêmes. Tant que ces défis ne seront pas surmontés, les progrès des LLMs dans le domaine scientifique resteront limités à la résolution de problèmes simples et à la création de connexions entre différents domaines, plutôt qu'à des découvertes révolutionnaires.

Cette position peut sembler paradoxale pour ceux qui sont optimistes quant aux avancées de l'IA, surtout à une époque où des entreprises comme Anthropic annoncent des progrès sur des problèmes mathématiques célèbres. Par exemple, Anthropic a publié un article de blog sur Claude, qui a fait des avancées sur la célèbre hypothèse de Riemann. Cependant, la portée des problèmes scientifiques est vaste, et il est peu probable que les modèles d'IA actuels puissent les couvrir aussi largement que certains le croient.

Pourquoi les progrès sont-ils lents ?

L'auteur s'attendait à beaucoup plus de progrès dans l'écriture non-fictionnelle de la part des modèles d'IA. Il pensait presque qu'il ferait figure de naïf en publiant un livre non-fictionnel à l'avenir, compte tenu de l'état des choses aujourd'hui. Certains des modèles les plus célèbres en matière de capacité d'écriture, comme le GPT 4.5 d'OpenAI et le Kimi K2 de Moonshot, sont déjà considérés comme anciens. Autour de ces sorties, les modèles sont passés de l'acceptable à l'humain supérieur dans d'autres tâches comme le codage et les mathématiques. Cependant, bien écrire semble être une compétence orthogonale à la plupart d'entre elles. L'auteur ne pense pas que l'écriture soit simplement ignorée, mais plutôt qu'elle soit difficile et qu'il manque de bonnes données d'entraînement pour y intervenir spécifiquement.

Il y a certainement des opportunités faciles pour améliorer les modèles d'IA en matière d'écriture — comme des harnais spécialisés comme Claude Code, des prompts et des environnements d'entraînement qui font que les modèles dépensent beaucoup plus de jetons d'inférence sur la sortie, mais l'auteur ne pense pas que cela aura un impact multiplicatif sur leur capacité. Bien écrire est une tâche très difficile ! C'est dommage que nous n'ayons pas débloqué l'échelle d'inférence pour l'une des grandes quêtes intellectuelles.

Les limites actuelles des modèles d'IA

Aujourd'hui, les modèles semblent vraiment mauvais dans l'écriture technique de long format. Ils peuvent produire une phrase correcte, mais si vous essayez de les amener à écrire un chapitre entier, ce sera un mélange de formulations confuses, mal organisé et généralement un peu décalé. Ils essaient d'être trop mignons là où cela n'est pas nécessaire et, dans le processus, commettent des erreurs conceptuelles aléatoires. Les modèles dans un avenir proche s'amélioreront beaucoup sur les petites erreurs, surtout à mesure qu'ils deviendront plus grands — ce qui leur permettra de conserver plus de connaissances — mais l'auteur ne s'attend pas à ce que leur capacité à les utiliser se transforme.

Par exemple, les modèles GPT ont été incroyables pour trouver des fautes de frappe et des problèmes mineurs depuis longtemps. L'auteur a passé un brouillon presque final de son livre au format PDF à GPT 5.5 Pro et il a trouvé des fautes de frappe mineures surprenantes dans le manuscrit de 200-300 pages. En revanche, les modèles Claude ont été beaucoup plus utiles en tant qu'éditeurs. Ils ont beaucoup plus de goût, tendent à mieux comprendre le modèle mental de la tâche et proposent des suggestions plus intéressantes pour débloquer les différentes formes de blocage de l'écrivain.

Les exemples que l'auteur a donnés ci-dessus ont tous un thème cohérent. Les modèles savent comment vérifier chaque unité de contenu, généralement une phrase, une équation ou une figure, ou créer une section spécifique où vous êtes bloqué. Avec ces compétences, ils ne font pas un bon travail en revisitant les composants et en les reliant ensemble, car ils ajoutent de nombreuses choses les unes sur les autres. Cela ressemble à une sorte d'erreurs irréductibles qui s'accumulent. Nous avions l'habitude de traiter ces erreurs en mathématiques et en code, mais en y réfléchissant, le RLVR a été une véritable solution magique pour les réduire.

Tirer de la valeur des modèles actuels en tant qu'écrivain

L'auteur est prêt à partager qu'il y a quelques phrases d'explication technique dans son livre qui proviennent d'un modèle d'IA — bien moins de 1 % — elles sont là parce qu'il les a vraiment appréciées. Il s'est permis de considérer l'inclusion de quelques jetons d'IA dans le livre, car cela ne lui semblait pas être de la tricherie si, en tant que véritable expert, il pensait que la phrase était ce dont le lecteur avait besoin. Surtout dans le processus d'édition, où il avait un œil très attentif sur les choses et beaucoup de préoccupations quant à savoir si son livre serait un jour terminé avec tout ce qu'il avait à gérer, cela a été un chemin extrêmement précieux. Par exemple, il avait une liste de questions de son éditeur entrelacées dans un fichier LaTeX avec un délimiteur spécifique comme \editor{}. Il laissait Claude Code naviguer vers chaque commentaire, imprimer le contexte avant et après, et lui faire savoir s'il s'agissait d'une simple correction de faute de frappe ou de quelque chose de plus nuancé. Il écrivait une réponse — le texte à insérer — ou demandait des suggestions à Claude avant de corriger. Intellectuellement, c'est un processus d'édition très concentré, c'était une manière amusante d'améliorer le livre. Parfois, des phrases provenant des suggestions de Claude ont trouvé leur place dans le livre.

C'est définitivement une pente glissante et lorsque l'auteur a accepté quelques suggestions d'IA, c'était au moment où il réalisait sa seconde révision complète du manuscrit. Émotionnellement, le projet semblait achevé, mais il avait encore du travail à faire. À la sortie du processus d'écriture du manuel, il apprécie tellement la règle stricte qu'il a pour son écriture sur Interconnects de ne jamais utiliser les sorties d'IA dans le contenu. Il est beaucoup plus amusant d'écrire d'une manière qui est uniquement vous — à forte voix, tellement valorisée pour le processus — mais écrire un manuel standard n'est pas vraiment une activité connue pour être amusante. Il comprend pourquoi les gens transforment les outils d'IA en béquille lorsque la plupart de leur écriture n'est qu'un produit pour remplir de l'espace, plutôt qu'un moyen d'atteindre un but. Il est motivé à écrire abondamment pour apprendre, ressentir et exprimer.

Il travaille également sur des équilibres similaires dans son travail scientifique. Les modèles d'IA sont excellents pour des parties répétitives du papier, comme la rédaction d'une section de travaux connexes ou de contexte qu'il connaît par cœur, mais les utiliser pour l'abstract, l'introduction, les expériences ou la conclusion est dommage. C'est là que l'histoire et l'âme du travail sont communiquées — c'est là que vous apprenez ce que votre recherche signifie vraiment.

L'auteur est convaincu qu'il a créé beaucoup plus de valeur nette en étant capable de faire créer et vérifier son travail d'écriture non-fictionnelle par des modèles d'IA. Ils rendent l'écriture d'équations triviale, peuvent aider à refactoriser le dépôt, à porter entre les langages et bien d'autres choses. Au début, c'était très amusant, jusqu'à ce qu'il soit un peu épuisé par la longueur du processus de publication, regardant le domaine avancer.

À titre d'exemple de pourquoi l'IA était cruciale dans ce cas, il a dû maintenir simultanément des versions Markdown et LaTeX de son livre à deux endroits, alors que les lecteurs donnaient des retours sur la version web et que son équipe éditoriale de Manning examinait une copie dérivée. Sans agents d'IA, la synchronisation entre les deux lui aurait facilement pris cinq fois plus de temps (et cette tâche a déjà pris des dizaines d'heures).

Quelque chose d'entrelacé avec cette histoire, que l'auteur a découvert en réfléchissant aux agents, est que votre rythme de compréhension ne s'accélérera pas en utilisant des agents. Cette compréhension, sous forme d'intuition, de goût, d'instinct, etc., est ce qui sera précieux à l'avenir. Utiliser l'IA pour l'écriture non-fictionnelle enlève de cette progression. De plus, si vous n'étiez pas déjà un expert, vous ne pourrez pas saisir ses défauts.

Dans son cas, il a ressenti une telle urgence à déverser les connaissances de son esprit sur la page qu'il y a eu des moments où utiliser les modèles d'IA était un outil précieux. Une grande partie de la motivation de son livre était d'avoir une référence unique pour des méthodes post-formation importantes comme l'échantillonnage par rejet ou l'entraînement de caractères, où il existe très peu de ressources.