Andrej Karpathy réinvente l'IA avec son modèle Wiki LLM

Le défi de la Génération Augmentée par Récupération (RAG)

Dans le domaine de l'intelligence artificielle, la Génération Augmentée par Récupération (RAG) est une méthode largement adoptée. Elle consiste à télécharger des documents, poser une question, et le système extrait le texte pertinent pour générer une réponse. Des plateformes telles que NotebookLM et ChatGPT utilisent cette approche. Cependant, Andrej Karpathy, une figure influente dans le domaine de l'IA, met en lumière une faiblesse significative : ces systèmes ne retiennent pas les connaissances acquises. Chaque requête est traitée de manière isolée, sans accumulation de savoir.

Lorsqu'une question nécessite la synthèse de plusieurs documents, le système les combine uniquement pour cette requête spécifique. Si la même question est posée à nouveau, le processus est répété intégralement. Cette approche rend difficile la connexion d'informations sur une période prolongée, comme relier des articles de mars à ceux d'octobre. En résumé, bien que RAG produise des réponses, il ne construit pas de connaissances durables.

La vision de Karpathy : un modèle Wiki pour l'IA

Karpathy propose une solution innovante qui pourrait transformer notre perception des modèles d'IA. Plutôt que de traiter les documents après chaque requête, il suggère de les traiter lors de leur ingestion initiale. Cette méthode permet de créer un produit wiki structuré et permanent, offrant un contrôle accru sur le stockage et la récupération des documents.

Lorsqu'une nouvelle source est ajoutée, le modèle LLM ne se contente pas de créer un index pour une récupération future. Il intègre cette source dans sa base de connaissances, mettant à jour les pages existantes et créant de nouvelles pages si nécessaire. Les contradictions entre les nouvelles et anciennes informations sont détectées et signalées, renforçant ainsi les relations complexes à travers le wiki.

Selon Karpathy, « Avec les LLM, la connaissance est créée et maintenue de manière continue et cohérente plutôt que d'être générée par des requêtes individuelles. » Cette approche contraste fortement avec le modèle RAG, où les connaissances sont traitées au moment de chaque requête, tandis que dans le modèle Wiki, elles sont intégrées une fois lors de l'ingestion.

Processus de création d'un wiki LLM

Étape 1 : Rassembler les ressources

Pour développer un wiki, il est essentiel de collecter divers matériaux : articles, livres, notes personnelles, transcriptions de discussions, et même vos propres conversations historiques. Ces matériaux constituent la matière première pour le wiki, tout comme le minerai doit être raffiné avant utilisation.

Étape 2 : Classification avant extraction

Il est crucial de ne pas traiter tous les documents de la même manière. Par exemple, un document de recherche de 50 pages nécessite une extraction section par section, tandis qu'un tweet ou un fil de discussion sur les réseaux sociaux ne requiert qu'une idée principale et le contexte correspondant. De même, une transcription de réunion nécessite l'extraction des décisions prises, des actions à réaliser et des citations clés. En classifiant d'abord le type de document, vous aiderez à extraire le bon type d'information avec le bon niveau de détail.

Étape 3 : Génération des pages wiki

Les matériaux sources sont intégrés dans le LLM via une requête structurée, permettant de produire des pages wiki conformes à un modèle établi. Chaque page comprend un bloc de frontmatter (YAML), une phrase TLDR, le corps du contenu et les contre-arguments ou lacunes de données identifiés.

Étape 4 : Création d'un index

Un fichier central index.md sert de table des matières et liera directement chaque page du wiki. C'est ainsi qu'un agent IA peut traverser efficacement l'ensemble de la base de connaissances ; il commence par l'index, lit les TLDR, puis explore uniquement les pages pertinentes à sa question spécifique.

Étape 5 : Enregistrement des questions

C'est l'une des fonctionnalités les moins appréciées du système. Lorsque vous posez une question bien formulée à l'LLM et recevez une réponse qui fournit des informations précieuses, par exemple, une comparaison entre deux cadres ou une explication de la relation entre deux concepts, vous enregistrez cette réponse comme une nouvelle page wiki étiquetée avec le label query-result. Au fil du temps, votre meilleure réflexion a été collectée plutôt que perdue dans des journaux de chat.

Étape 6 : Audits réguliers

À des intervalles appropriés, vous demandez à l'LLM d'auditer l'ensemble du wiki pour détecter les contradictions ou incohérences entre les pages, et d'indiquer les déclarations qui ont été rendues obsolètes par une source plus récente. De plus, l'LLM fournira des suggestions pour identifier les pages orphelines (c'est-à-dire, les pages qui n'ont aucun lien pointant vers elles) et pour fournir une liste de concepts référencés dans le contenu existant mais qui ne sont pas encore représentés par leurs propres pages respectives.

Outils pour une gestion efficace

Karpathy utilise plusieurs outils pour optimiser ce processus. Obsidian est une application de gestion des connaissances en markdown gratuite qui utilise un répertoire local comme coffre. Pour Karpathy, c'est l'interface de visualisation utilisée pour le wiki car elle possède trois caractéristiques distinctes qui importent pour son système :

• La Vue Graphique fournit un graphique de toutes les pages wiki représentées comme des nœuds, et de plus, chaque lien wiki ( [[wiki-links]] ) sera représenté comme des arêtes reliant tous les nœuds ensemble. Les pages hub seront connectées à de nombreux nœuds et seront donc représentées comme des nœuds plus grands que la moyenne. Les pages orphelines seront représentées comme des nœuds isolés. Cela permet une représentation visuelle immédiate de la densité des connaissances et des lacunes dans les connaissances d'une personne. Aucun autre affichage de document ou navigateur de fichiers ne peut fournir cette représentation visuelle.

• Le Plugin Dataview permet aux utilisateurs de transformer leur wiki en une base de données pouvant être interrogée. Toutes les pages doivent avoir un frontmatter YAML, donc la spécification d'intégration est satisfaite et permet à l'utilisateur d'exécuter des requêtes de type SQL contre toutes les pages du wiki.

• L'extension de navigateur Web Clipper (disponible pour Chrome, Firefox, Safari, Edge, Arc et Brave) convertit les articles web en Markdown propre avec frontmatter YAML en un clic, enregistrant directement dans votre dossier brut. Vous téléchargez toutes les images sur votre ordinateur en appuyant sur la touche de raccourci Ctrl+Shift+D après avoir terminé le clipping car l'LLM nécessite un accès aux images.

Enfin, Qmd permet une recherche à grande échelle, rendant l'accès au contenu du wiki fluide même avec un grand nombre de pages. L'LLM peut utiliser le fichier index.md pour accéder au contenu du wiki sans problème à petite échelle. Cependant, l'index devient illisible dans une fenêtre de contexte lorsque vous avez plus de 100 pages car l'LLM a une limite de contexte. Pour résoudre ce problème, Qmd permet une recherche à grande échelle, facilitant l'accès à un grand volume de données.

En conclusion, l'approche de Karpathy avec le modèle Wiki LLM pourrait transformer la manière dont les systèmes d'IA gèrent et utilisent les informations, rendant les systèmes plus intelligents et efficaces.