IA Agentique : Réduire les coûts des tokens efficacement

Introduction aux coûts de l'IA

L'utilisation de l'intelligence artificielle en production s'accompagne de coûts significatifs. Les fournisseurs cherchent constamment à réduire ces dépenses. Cet article examine des stratégies de conception pour optimiser les agents IA et réaliser des économies.

Coûts croissants des agents

Les premiers agents peuvent commencer avec un prompt système de 500 tokens et deux outils, mais ces chiffres augmentent rapidement. Par exemple, le prompt système de Claude atteint environ 24 000 tokens, tandis que celui de GPT-5 est d'environ 15 000 tokens. Des utilisateurs d'OpenClaw ont signalé avoir envoyé plus de 150 000 tokens d'entrée à Gemini 3.1 Pro pour seulement 29 tokens de sortie lors du premier tour.

Sans optimisation, envoyer 100 messages par jour avec 166 000 tokens d'entrée coûte environ 996 $ par mois sur Gemini 3.1 Pro et environ 2 490 $ sur Claude Opus 4.6.

Quatre principes de conception pour économiser

L'article présente quatre principes pour optimiser les coûts, chacun accompagné d'un calculateur interactif :

• Réutilisation des tokens : Utiliser le caching de prompts et le caching sémantique pour éviter le re-traitement des mêmes données.
• Minimisation des tokens ajoutés : Réduire les ajouts stables comme la mémoire et les définitions d'outils.
• Routage vers des modèles adaptés : Choisir entre des modèles plus petits ou plus grands selon les besoins.
• Maintien d'un contexte propre : Améliorer les performances et réduire les coûts en compactant les données.

Réutilisation des tokens

Le coût des modèles de langage ne provient pas seulement des appels fréquents, mais aussi du traitement répétitif des mêmes tokens.

Caching K/V et caching de préfixe

Avant qu'un modèle ne génère une réponse, il doit traiter le prompt, une étape appelée prefill. Ce processus consomme des ressources, entraînant des latences et des coûts. Pour être efficace, il est crucial de ne pas re-traiter le même contenu.

Lors de l'utilisation d'un modèle de langage, le prompt est d'abord tokenisé, puis transformé en vecteurs, qui sont projetés en tenseurs K/V dans chaque couche d'attention. Au lieu de jeter ce cache à la fin de la réponse, on peut le stocker pour une utilisation future. Lorsqu'une nouvelle demande arrive, on vérifie si une partie du prompt correspond à quelque chose déjà en mémoire, permettant ainsi d'éviter le re-traitement.

Caching de préfixe pour l'inférence auto-hébergée

Pour ceux qui hébergent un modèle open source, un cadre de service LLM comme vLLM est recommandé. Ce cadre divise le prompt en blocs, hache chaque bloc en fonction de ses tokens, et stocke les tenseurs K/V associés. Pour activer le caching dans vLLM, utilisez le drapeau --enable-prefix-caching. D'autres options permettent d'ajuster la taille des blocs et du cache K/V par GPU.

Caching de prompts via des fournisseurs d'API

Lors de l'utilisation de fournisseurs d'API, structurer les prompts pour atteindre le cache est crucial. Par exemple, pour OpenAI, un match exact du préfixe est requis pour que le caching fonctionne. Cela implique de placer les instructions stables, les exemples et les outils en premier, suivis du contenu variable.

Caching sémantique

Le caching sémantique consiste à associer des requêtes similaires pour renvoyer le résultat mis en cache. Cela fonctionne bien si de nombreuses personnes posent des questions presque identiques et que les données ne deviennent pas obsolètes rapidement. Cependant, il est important de gérer les seuils de similarité, la durée de validité des réponses et les questions à plusieurs tours.

Conclusion

Le caching de prompts est une stratégie efficace pour économiser des tokens, surtout avec des prompts système longs et stables. Le caching sémantique, bien qu'il présente des défis, peut également offrir des économies significatives dans certains cas.