Meta AI innove avec un agent mémoire pour des tâches complexes

Meta AI innove avec un agent mémoire pour des tâches complexes

Meta AI utilise un deuxième agent d'IA comme entraîneur de mémoire pour maintenir le cap lors de longues tâches.

Lors de tâches prolongées, les agents d'IA oublient souvent des contraintes, répètent des commandes échouées et redécouvrent des erreurs qu'ils ont déjà diagnostiquées. Le module de mémoire proposé par Meta AI suit ces informations et décide quand il est nécessaire de rappeler ces éléments.

Dans un nouvel article, les chercheurs de Meta AI décrivent comment ces échecs se manifestent. Un agent reconnaît une contrainte au début, mais la viole plus tard en corrigeant un bug non lié. Il constate qu'une commande a échoué, puis essaie une version presque identique peu après. Il diagnostique un schéma d'erreur, mais traite plus tard le même schéma comme étant nouveau.

Les auteurs appellent cela "la dégradation de l'état comportemental". L'état qui guide les décisions de l'agent se disperse à travers un historique de tâches croissant. Il peut être enfoui profondément dans la fenêtre de contexte ou en sortir complètement. Même lorsque l'information reste dans la transcription ou la fenêtre de contexte, elle peut ne plus influencer de manière fiable le comportement de l'agent. Meta AI affirme que donner simplement accès à des historiques plus longs ne résout pas le problème.

Décider quand la mémoire est importante

Les systèmes de mémoire existants se concentrent sur le stockage, la mise à jour et la récupération d'informations. Selon l'article, cela fonctionne bien pour la personnalisation et le rappel entre les sessions. Mais les agents travaillant sur une tâche font face à un autre problème. Le système doit décider quand une mémoire est suffisamment utile pour être rappelée. Trop peu de rappels entraînent des erreurs répétées, tandis que trop de rappels ajoutent de la latence, consomment des jetons et distraient l'agent de son travail actuel.

Cela va au-delà de la résumation : un résumeur décide simplement quelles informations conserver, tandis que le système de Meta décide si un état d'exécution stocké doit influencer la prochaine décision de l'agent. Étant donné que les modes d'échec varient largement selon la tâche, une règle de résumation fixe ne peut pas faire ce choix de manière fiable.

Un deuxième agent décide quand intervenir

Le système proposé associe un "agent d'action" non modifié à un "agent de mémoire" distinct. À intervalles fixes, l'agent de mémoire examine une fenêtre glissante des étapes les plus récentes et met à jour une banque de mémoire structurée. Il décide ensuite s'il doit ajouter un bref rappel à l'appel suivant de l'agent d'action ou rester silencieux.

Les auteurs affirment que le module peut fonctionner avec des agents existants et s'intègre comme un composant plug-and-play. Contrairement à un modèle de conseiller général, il fournit uniquement des rappels basés sur la mémoire et n'offre pas de conseils stratégiques plus larges.

La banque de mémoire a trois sections. Un champ d'état privé suit les progrès et les risques en cours et n'est jamais montré à l'agent d'action. La mémoire de connaissance stocke des faits stables tels que les exigences, les chemins de fichiers et les configurations. La mémoire procédurale enregistre ce que l'agent a essayé et ce qui s'est passé, y compris les commandes échouées, les corrections réussies et les hypothèses rejetées.

Lors de chaque étape de mémoire, l'agent peut mettre à jour la banque uniquement par le biais d'appels d'outils prédéfinis plutôt que de réécrire librement son contenu. Il décide ensuite s'il doit réactiver un état stocké et, si nécessaire, rédige un rappel ciblé. Choisir de ne pas intervenir fait partie de la politique.

Rappels sélectifs améliorent les scores sur deux benchmarks

Les chercheurs ont testé le système sur Terminal-Bench 2.0, qui évalue les agents autonomes dans des environnements de ligne de commande réalistes. Ils ont également utilisé tau2-Bench, qui teste l'utilisation d'outils conversationnels dans les secteurs de l'aviation, du commerce de détail et des télécommunications. Claude Opus 4.6 a servi d'agent de mémoire, bien que le modèle ait depuis reçu plusieurs mises à jour.

Avec l'ancien Claude Sonnet 4.5 comme agent d'action, le système a résolu 46 % des tâches de Terminal-Bench lors de sa première tentative. La référence a résolu 38 %. Sur tau2-Bench, la moyenne pondérée des tâches est passée de 55 % à 62 %.

Les résultats variaient selon le domaine. Les scores pour les tâches d'aviation et de commerce de détail ont chacun augmenté d'environ 10 points de pourcentage, tandis que les télécommunications n'ont progressé que de 3 points. Les chercheurs affirment que les gains inégaux suggèrent que l'agent de mémoire intervient à des taux différents selon la tâche plutôt que d'appliquer une règle d'agrégation fixe.

Les gains étaient plus importants pour l'agent le plus faible, mais n'ont pas disparu avec un modèle plus fort. Opus 4.6 a amélioré ses performances de 2,4 points de pourcentage sur Terminal-Bench et de 2,5 points sur tau2-Bench. Ce résultat suggère que le système de mémoire fait plus que compenser la capacité limitée d'un modèle plus faible.

L'intervention sélective fonctionne mieux qu'un rappel constant

L'équipe a retiré une capacité à la fois pour déterminer quelles parties du système ont conduit aux gains. Lorsque l'agent d'action a reçu la banque de mémoire complète à chaque étape, les performances sont tombées en dessous de celles du système complet. Une version sans l'option de "silence", qui renvoyait une mémoire à chaque étape, est restée compétitive mais a produit des gains moins cohérents à travers les domaines.

Une version de style conseiller sans banque de mémoire persistante a aidé dans certains domaines mais a nui aux performances dans d'autres. La conception complète, qui combine une banque de mémoire maintenue avec des rappels sélectifs, a donné les meilleurs résultats.

L'approche a également surpassé Mem0, une couche de mémoire de production qui récupère des enregistrements par recherche. La différence ne réside pas seulement dans les enregistrements que le système récupère. L'agent de mémoire décide également si et comment un état stocké doit entrer dans la boucle en tant que rappel ciblé.

Un exemple du domaine "Aviation" de tau2-Bench illustre comment cela fonctionne. Un utilisateur a revendiqué un statut Gold, mais l'outil l'a identifié comme un client régulier. La référence a accordé une compensation basée sur la revendication de l'utilisateur. L'agent de mémoire a plutôt émis un rappel pour se fier aux données vérifiées de l'outil.

La plupart des erreurs restantes concernaient l'étalonnage plutôt que la mémoire. Dans certains cas, par exemple, l'agent de mémoire a traité une inférence spéculative avec trop de confiance.

Les modèles ouverts plus petits ont besoin d'entraînement pour bien gérer la mémoire

La version principale ne nécessite pas un modèle spécialement entraîné et fonctionne plutôt comme un agent invité. L'équipe a également testé s'il pouvait enseigner la politique d'intervention à un modèle ouvert. Elle a entraîné le plus petit Qwen3.5-27B comme agent de mémoire tout en gardant un modèle d'action beaucoup plus grand gelé.

Sans entraînement, le plus petit agent de mémoire a réduit les performances. Un ajustement fin supervisé a récupéré cette perte, et un apprentissage par renforcement ultérieur a amélioré ses décisions concernant le moment de rappeler un état stocké.

Meta AI énumère plusieurs questions ouvertes, notamment l'entraînement des agents de mémoire et d'action ensemble, l'enseignement au système d'invoquer la mémoire lorsque cela est nécessaire plutôt que de suivre un calendrier fixe, et la détermination de quand des mémoires littérales fonctionnent mieux que des abstractions spécifiques à la tâche.

Meta AI a publié le code du projet sur GitHub.

Meta n'est pas seul à rencontrer ce problème, et l'industrie n'a toujours pas d'approche standard. Le cadre open-source Mastra utilise deux agents en arrière-plan qui surveillent et compressent une conversation au lieu de conserver l'historique complet dans la fenêtre de contexte. Le système GAM vise à prévenir la "dégradation du contexte" dans les longues discussions et, comme l'approche de Meta, compare ses résultats avec la couche de mémoire Mem0. D'autres chercheurs conçoivent des systèmes de mémoire IA à long terme qui peuvent ajouter, réviser et oublier activement des connaissances.