Les agents IA échouent à la recherche, trop dépendants de la mémoire

Les agents IA et la dépendance à la mémoire

Une récente étude a révélé que les agents de recherche IA, censés explorer le web pour obtenir des réponses, se contentent souvent de confirmer ce qu'ils savent déjà. Des modèles avancés tels que GPT-5.4, Gemini 3.1 Pro, Claude Sonnet 4.6, DeepSeek-V4-Pro, et Kimi-K2.6 obtiennent des scores élevés sur le benchmark BrowseComp, qui pose des questions complexes nécessitant une navigation multi-étapes et la collecte d'informations provenant de diverses sources web.

Cependant, des chercheurs de l'Institut de technologie de Harbin et de Xiaohongshu ont démontré que ces résultats reflètent moins les compétences réelles de recherche des agents que ce qui était supposé. Ils ont introduit le concept de dépendance intrinsèque à la connaissance (IKD), qui désigne une dépendance à la connaissance interne que les modèles ont absorbée lors de leur entraînement.

Avec des benchmarks statiques, la connaissance nécessaire s'intègre dans la mémoire des paramètres au fil des générations de modèles, rendant les tâches plus faciles à résoudre avec le temps. Pour contrer ce phénomène, LiveBrowseComp a été développé, posant des questions liées au temps pour évaluer la capacité des modèles à rechercher des informations actuelles.

Les limites des capacités de recherche

Les chercheurs ont testé un total de onze modèles, d'abord en retirant tous les outils de recherche et de navigation. Étonnamment, même sans accès à Internet, les modèles ont obtenu des scores élevés. Par exemple, MiniMax M2.5 a résolu 44,5 % des tâches de BrowseComp uniquement à partir de sa mémoire, tandis que Kimi K2.6 a atteint 62 % sur la variante chinoise BrowseComp-ZH. Cela indique que la performance du benchmark provient en grande partie de la mémoire des modèles, avant même qu'une recherche ne soit effectuée.

Le deuxième test a révélé des résultats encore plus significatifs. Les chercheurs ont laissé l'interface de recherche en place mais ont retiré tous les documents soutenant les réponses de l'index de recherche. Chaque modèle testé a alors obtenu de moins bons résultats que sans accès à aucun outil. MiniMax M2.5 est tombé de 44,5 % à 8,0 %, et Kimi-K2.6 est passé de 25,5 % à 2,3 %. La recherche semble détourner les agents de leurs réponses intuitives correctes dès qu'aucun résultat confirmant n'apparaît.

Plus la recherche progresse, plus les agents cherchent à confirmer leurs propres hypothèses au lieu de découvrir de nouveaux faits. Lorsqu'ils trouvent des sources de soutien, ils les utilisent moins d'un tiers du temps. Une analyse des chemins de recherche explique pourquoi : plus de la moitié de toutes les requêtes proviennent du raisonnement propre du modèle plutôt que de résultats précédemment trouvés. Même lorsque des preuves pertinentes apparaissent dans les résultats de recherche, les agents les intègrent dans leur raisonnement moins d'un tiers du temps. La boucle est dirigée par le modèle, et non par les preuves.

Un benchmark au-delà de la frontière des connaissances

Pour mesurer le véritable comportement de recherche, les auteurs ont construit LiveBrowseComp. Le benchmark contient 335 questions rédigées par des humains, chacune dépendant d'au moins un fait des 90 jours précédant sa création et impossible à répondre sans cette information actuelle.

Les événements sous-jacents proviennent de sources constamment mises à jour comme des bases de données de films, des répertoires de jeux, des registres de vulnérabilités de sécurité et des catalogues de tremblements de terre. Les événements mondialement connus sont délibérément filtrés, laissant des faits obscurs mais vérifiables publiquement qui avaient peu de chances de s'infiltrer dans les paramètres du modèle durant l'entraînement.

Le pipeline filtre uniquement les faits des 90 derniers jours, rejette les réponses instables, et chaque question est vérifiée par des experts pour sa pertinence, sa difficulté et sa clarté.

Les testeurs humains ont besoin d'environ le même temps pour LiveBrowseComp que pour BrowseComp et résolvent un nombre similaire de tâches. La baisse de performance parmi les modèles est donc due à la perte du raccourci mémoire, et non parce que les questions sont plus difficiles.

Les classements des tableaux de résultats s'effondrent

Sur LiveBrowseComp, tous les modèles dans le test à livre fermé tombent en dessous de deux pour cent de précision. Avec les outils activés, les scores se situent environ 25 à 40 points en dessous des résultats de ces mêmes modèles sur BrowseComp.

Sans outils, les modèles résolvent jusqu'à 44,5 % des questions de BrowseComp à partir de la mémoire. Sur LiveBrowseComp, ce chiffre tombe en dessous de deux pour cent dans l'ensemble, confirmant le blocage temporel contre la connaissance des paramètres.

Cela modifie les classements. GLM 5.1 est clairement en tête parmi les modèles open-source sur BrowseComp mais tombe au milieu du classement sur LiveBrowseComp. DeepSeek v3.2, qui était en bas sur BrowseComp, a ensuite grimpé au sommet sur LiveBrowseComp, dépassant plusieurs modèles qui l'avaient précédemment surpassé. Cela montre que la position d'un modèle sur un tableau de classement statique montre principalement combien il sait déjà, et non à quel point il recherche efficacement.

Les agents ont besoin de plus d'étapes lorsqu'ils ne peuvent pas compter sur la mémoire

Sur BrowseComp, les agents résolvent de nombreuses questions en très peu d'étapes, un signe de confirmation rapide de la mémoire. Sur LiveBrowseComp, ce schéma disparaît. Le nombre d'étapes augmente considérablement, ce qui suggère que les agents effectuent de réelles recherches au lieu de se souvenir de connaissances stockées.

Les auteurs soutiennent que des benchmarks dynamiques et sensibles au temps devraient devenir la norme pour évaluer les agents IA. Ils souhaitent également des signaux d'entraînement qui récompensent la recherche basée sur des preuves plutôt que l'approche typique de deviner et vérifier.

D'autres études ont signalé des problèmes similaires. Un benchmark de l'Université de Pékin a trouvé que les meilleurs modèles produisent souvent la bonne réponse lors de l'analyse de documents mais citent la mauvaise source, ce que les chercheurs appellent hallucination d'attribution. Un outil appelé CiteAudit a récemment découvert que des références fabriquées avaient déjà été acceptées dans des articles lors de grandes conférences sur l'IA. La raison : les modèles commerciaux ne détectent pas de manière fiable les citations inventées.