Agents LLM : la mémoire, clé de l'efficacité bien plus que le modèle

L'importance cruciale de la mémoire pour les agents LLM

Une étude récente met en lumière un aspect souvent sous-estimé dans le développement des agents LLM : la mémoire. Il est affirmé que « L'écart entre 'a de la mémoire' et 'n'a pas de mémoire' est souvent plus grand que l'écart entre différents modèles LLM. » Cette déclaration souligne que la capacité d'un agent à se souvenir est plus déterminante que le modèle sous-jacent lui-même. Les praticiens, qui investissent beaucoup de temps et d'énergie dans le choix des modèles et l'ajustement des prompts, devraient reconsidérer leurs priorités. Cette approche traditionnelle est remise en question par l'importance cruciale de la mémoire, qui est souvent reléguée au second plan.

La mémoire des agents est conceptualisée dans le cadre d'un Processus de Décision Markovien Partiellement Observable (POMDP). Dans ce contexte, la mémoire représente l'état de croyance de l'agent sur un monde qu'il ne peut pas entièrement observer. Ainsi, une mémoire inexacte peut entraîner des décisions erronées en cascade. L'agent doit donc construire et maintenir un modèle interne de ce qui est vrai, et la mémoire devient ce modèle. Si ce modèle est incorrect, chaque décision prise par la suite est susceptible de se dégrader.

La boucle écrire-gérer-lire : un processus complexe

La gestion de la mémoire des agents suit une boucle écrire-gérer-lire, bien plus complexe qu'un simple stockage et récupération. Cette boucle se décompose en trois étapes :

• Écrire : Intégration de nouvelles informations dans la mémoire, telles que des observations, des résultats et des réflexions. Cette étape est cruciale pour enrichir la base de connaissances de l'agent.
• Gérer : Maintenance, élagage et consolidation de la mémoire pour éviter l'accumulation de bruit et de contradictions. C'est l'étape la plus négligée, mais elle est essentielle pour maintenir la pertinence et l'efficacité de la mémoire.
• Lire : Récupération et utilisation de la mémoire pertinente pour un contexte donné. Cette étape permet à l'agent de puiser dans ses connaissances accumulées pour prendre des décisions éclairées.

Bien que l'écriture et la lecture soient généralement bien implémentées, la gestion est souvent négligée, conduisant à des accumulations de données inutiles et à des contextes surchargés. Avant les récentes améliorations, la gestion était assurée par une politique de contrôle heuristique, avec des règles explicites sur ce qu'il fallait stocker ou résumer. Cette approche, bien que pas élégante, oblige à être explicite sur l'étape de gestion plutôt que de l'ignorer.

Les différentes portées temporelles de la mémoire

L'article identifie quatre portées temporelles pour la mémoire des agents :

1. La fenêtre de contexte : Éphémère et limitée, elle peut entraîner une dilution de l'attention si surchargée. Le contenu pertinent peut être ignoré si la fenêtre est trop encombrée. C'est une mémoire à large bande passante où tout vit brièvement.
2. Les expériences concrètes : Chronologie des actions et découvertes des agents. Dans le cas d'OpenClaw, cela correspond aux journaux de stand-up quotidiens où chaque agent résume ses activités. Ces expériences s'accumulent comme une chronologie consultable.
3. La mémoire sémantique : Connaissances abstraites et heuristiques, stockées dans des fichiers comme MEMORY.md chez OpenClaw. Elle est responsable des faits et des conclusions apprises.
4. La mémoire procédurale : Compétences et comportements appris, documentés dans des fichiers tels que AGENTS.md et SOUL.md. Elle encode des modèles comportementaux et des compétences exécutables.

Mécanismes de mémoire et défis

Cinq familles de mécanismes de mémoire sont explorées :

• Compression Résidente au Contexte : Inclut les fenêtres glissantes, les résumés roulants et la compression hiérarchique. Ces techniques permettent de gérer efficacement la mémoire tout en évitant la surcharge.
• Magasins Augmentés par Récupération : Appliqués à l'historique d'interaction des agents plutôt qu'à des documents statiques. Cela permet une récupération plus dynamique et contextuelle des informations.
• Auto-Amélioration Réflexive : Cela inclut des systèmes où les agents stockent des conclusions pour de futures exécutions. Cela favorise un apprentissage continu et une amélioration des performances.
• Contexte Virtuel Hiérarchique : Inspiré par le système MemGPT, permettant une gestion structurée de la mémoire. Cette architecture hiérarchique aide à organiser les informations de manière plus efficace.
• Gestion Apprise par Politique : Utilise des opérateurs entraînés par RL pour optimiser les actions, une approche à la frontière de l'innovation. Cela représente une nouvelle frontière où les agents apprennent à invoquer des actions de manière optimale.

Problèmes de gestion de la mémoire

Les échecs de gestion incluent la dérive de résumé, où la compression excessive de l'historique entraîne une perte d'information, et la dilution de l'attention, où des contextes trop larges perdent des détails cruciaux. De plus, des problèmes de récupération, comme le mismatch sémantique vs. causal et la cécité mémoire, peuvent empêcher l'accès à des souvenirs pertinents. Ces défis soulignent l'importance d'une gestion rigoureuse et innovante de la mémoire pour maximiser l'efficacité des agents LLM.