Agents de codage : un compilateur de contexte nécessaire

Les agents de codage n'ont pas besoin de fenêtres de contexte plus grandes. Actuellement, ces agents, souvent confrontés à la tâche complexe de construire des prompts, se heurtent à une limite : l'élargissement des fenêtres de contexte. Cette méthode, qui consiste à accumuler un maximum de fichiers et d'informations, espère que le modèle parviendra à en extraire le sens. Cependant, cette stratégie montre rapidement ses faiblesses.

À mesure que le volume de contexte augmente, le code non pertinent commence à encombrer l'espace disponible, ce qui peut nuire à l'attention nécessaire pour accomplir des tâches spécifiques. Lorsque la fenêtre de contexte atteint sa capacité maximale, les agents se retrouvent à compresser leur propre mémoire, souvent au milieu d'une tâche cruciale. Ce phénomène, souvent perçu comme un « oubli », est en réalité le résultat d'un contexte dégradé.

Face à ces défis, une nouvelle approche est envisagée : traiter la construction de prompts comme un compilateur. Ce compilateur aurait pour rôle de déterminer quelles informations doivent être conservées, réduites ou complètement éliminées. En optimisant ainsi la sélection des données pertinentes, les agents de codage pourraient améliorer leur efficacité et leur capacité à gérer des tâches complexes.