Modèles récursifs : révolutionner le traitement des longs textes

Introduction aux modèles de langage récursifs

Les modèles de langage récursifs, ou RLMs, émergent comme une réponse innovante aux défis posés par les modèles de langage traditionnels lorsqu'ils sont confrontés à des entrées de texte très longues. Bien que les grands modèles de langage (LLMs) aient considérablement progressé dans le traitement de vastes volumes d'informations, ils rencontrent encore des obstacles. Lorsqu'ils reçoivent des entrées étendues, ces modèles peuvent devenir moins fiables, omettre des détails cruciaux, contredire des affirmations antérieures ou fournir des réponses superficielles. Ce phénomène est souvent désigné par le terme de "context rot".

Les limites du long contexte pour les LLMs

Les grands modèles de langage fonctionnent en prenant une seule invite et en générant des sorties token par token. Ce mécanisme est efficace pour des invites courtes, mais la performance se dégrade lorsque les invites s'allongent. Plusieurs facteurs expliquent cette dégradation :

• Les modèles basés sur des transformers voient leur attention se disperser à mesure que la longueur de l'invite augmente.
• Les informations hétérogènes, telles que des journaux, des documents, du code et des historiques de chat, sont souvent mélangées.
• De nombreuses tâches nécessitent l'agrégation d'informations sur l'ensemble de l'input, plutôt que de simplement extraire des extraits pertinents.

Fonctionnement pratique des modèles de langage récursifs

1. Initialisation d'un environnement REPL persistant
   Un environnement d'exécution est mis en place, souvent un REPL Python, qui comprend :

   • Une variable pour l'invite complète de l'utilisateur.
   • Une fonction permettant d'effectuer des appels supplémentaires au modèle de langage sur des segments de texte sélectionnés.

2. Invocation du modèle racine avec des métadonnées
   Le modèle racine est activé avec :

   • Des métadonnées de taille constante concernant l'invite.
   • Des instructions décrivant la tâche à accomplir.
   • Des directives d'accès pour interagir avec l'invite via l'environnement REPL.

3. Inspection et décomposition de l'invite par exécution de code
   Le modèle examine la structure de l'input, générant et exécutant du code pour effectuer des opérations telles que l'impression des premières lignes ou la division du texte.

4. Émission d'appels récursifs sur des segments sélectionnés
   Le modèle peut émettre des sous-requêtes pour des sections spécifiques de l'invite, décomposant ainsi le problème et stockant les résultats intermédiaires.

5. Assemblage et retour de la réponse finale
   Après avoir collecté suffisamment d'informations, le modèle construit la réponse finale, qui peut dépasser les limites de tokens d'un seul appel au modèle de langage.

Différences entre RLMs, systèmes d'agents et de récupération

Les systèmes d'agents intègrent souvent l'historique complet de la conversation dans le contexte du modèle, tandis que les RLMs conservent l'invite externe dès le début. Les systèmes de récupération, quant à eux, s'appuient sur l'identification d'un petit ensemble de morceaux pertinents avant de procéder au raisonnement, ce qui est efficace lorsque la pertinence est rare.

Coûts, compromis et limitations des RLMs

Les RLMs ne réduisent pas le coût computationnel, mais le redistribuent. Les défis pratiques incluent la nécessité pour le modèle de générer un code fiable et la conception de protocoles de sortie pour distinguer les étapes intermédiaires des réponses finales.

Conclusion et ressources pour approfondir

Si votre tâche devient plus complexe simplement parce que l'input est plus long, et que la summarisation ou la récupération pourrait entraîner une perte d'informations importantes, un RLM pourrait être une solution à envisager. Pour explorer davantage les modèles de langage récursifs, les ressources suivantes peuvent être utiles :

• Article : Modèles de Langage Récursifs
• Code source officiel des RLM : alexzhang13/rlm
• Article de blog de l'auteur : "Modèles de Langage Récursifs" (Alex Zhang)
• Benchmark OOLONG : Bertsch et al., arXiv
• Perspective d'ingénierie de contexte d'Anthropic : Contexte sur les difficultés des agents avec de longs historiques
• Rapport et boîte à outils sur le context rot : Rapport "Context Rot" de Chroma