Divergence KL : l'équation qui révèle la dérive des agents IA

La dérive inévitable des agents IA

Dans le monde des agents IA à long terme, la dérive est un phénomène inévitable. Après 500 cycles, un agent n'est plus identique à celui qu'il était à l'origine. Ses objectifs se transforment et ses contraintes s'affaiblissent, un processus mesurable grâce à l'équation de divergence KL. Cette équation permet de quantifier à quel point un agent s'éloigne de son instruction initiale.

L'expérience de Fareed Khan

Fareed Khan a démontré la résilience d'un agent à long terme capable de survivre à un redémarrage du système et de gérer des débordements de contexte. Cet agent a réussi à traiter 31 éléments surdimensionnés, réduits à 14, illustrant ainsi la dérive inévitable des agents IA.

Comprendre la dérive représentationnelle

La dérive représentationnelle est mathématiquement inévitable dans les agents à long terme. Elle résulte de la compression répétée avec perte, qui efface les informations récupérables. Cette perte d'information conduit à une divergence de la distribution de sortie de l'agent par rapport à son comportement initial, mesurée par la divergence KL.

Un détecteur de dérive pratique

Pour détecter cette dérive, un détecteur pratique est proposé. Il utilise des sondes basées sur des questions à choix multiples avec des réponses correctes connues et des tests d'hypothèses statistiques, comme le chi-carré, pour identifier les changements d'interprétation. Lorsqu'une dérive est détectée, l'injection de l'instruction originale dans le contexte actif est recommandée pour recentrer l'agent et maintenir la divergence KL proche de zéro.

Implications pour l'avenir des agents IA

Cette instrumentation permet de distinguer les agents IA à long terme utiles des échecs coûteux. En fournissant des références et des méthodes pour corriger la dérive, elle offre un moyen de maintenir l'efficacité des agents IA et d'éviter des déviations préjudiciables.