Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
OpenAI active dans la famille GPT-6 une mise en cache des invites plus performante, assortie d’outils de suivi et de diagnostic. Les remises peuvent atteindre 90% sur les tokens d’entrée mis en cache, avec une fenêtre de réutilisation de 30 minutes. Des équipes rapportent des hausses de taux de cache et des baisses de coûts en production.
Des équipes rapportent des gains de coûts et de taux de cache
Plusieurs responsables techniques décrivent des améliorations rapides après l’adoption des nouveaux dispositifs. Arian Hanifi fait état d’une baisse de coûts de 20% grâce au tableau de bord et aux diagnostics, avec des alertes sur les échecs inattendus et l’appui d’agents Codex pour en trouver la cause. Il souligne que des points de rupture explicites permettent de garder un contexte stable en cache tout en plaçant le contenu variable en fin d’invite, ce qui a rendu le fork de conversations viable pour des tâches en arrière-plan. Chez un autre utilisateur, Bin Fan indique que, en moins d’une semaine, le taux de réussite du cache est passé d’environ 85% à au-delà de 90% de façon constante, réduisant davantage les coûts d’inférence, après un réglage des points de rupture, la combinaison de mise en cache explicite et automatique, et l’analyse de requêtes réelles. Pour des agents de longue durée comme Manus, il juge la fiabilité du cache déterminante pour l’économie. Eugene Mikhantyev rapporte un passage de 83% à 91% de taux de réussite sur des évaluations en moins d’une semaine après migration vers des points de rupture explicites, avec deux tiers d’écritures de cache en moins et une baisse de 36% des coûts d’inférence pour une charge identique.
Remises jusqu’à 90% et réutilisation des préfixes sur 30 minutes
La tarification prend en compte la mise en cache d’une partie de l’invite : les remises peuvent atteindre 90% sur les tokens d’entrée mis en cache. Les réductions s’appliquent aux préfixes partagés éligibles réutilisés dans une fenêtre de 30 minutes, et non à l’intégralité des contenus par défaut. Ce fonctionnement cible la réutilisation effective des segments partagés entre requêtes.
Surveillance et diagnostic des échecs de cache intégrés
Un tableau de bord dédié indique la part des entrées servies depuis le cache et permet de suivre l’évolution des taux de réussite. Un graphique de composition distingue tokens mis en cache et non mis en cache pour repérer rapidement des baisses et relier les variations aux changements d’application. En cas d’échec inattendu, un outil de diagnostic compare une requête à une réponse récente afin d’identifier des différences de modèle, d’outils, de paramètres ou d’entrée, et fournit une estimation du nombre de tokens affectés pour orienter les optimisations.
Points de rupture, préchauffage et stabilité des outils pour optimiser
Les points de rupture de cache explicites laissent choisir les préfixes d’invite à réutiliser, avec un guide actualisé précisant l’éligibilité et l’impact de modifications d’outils et d’entrées. Sur les modèles GPT-6, l’effort de raisonnement peut varier entre réponses via une configuration_update sans casser le cache, en l’augmentant pour des tâches difficiles ou en le réduisant pour des suivis. La stabilité des définitions d’outils, des schémas et de leur ordre contribue à préserver la réutilisation ; allowed_tools peut limiter les appels aux seuls outils pertinents et tool_choice peut être fixé à none quand aucun outil n’est requis. De nouveaux messages développeur permettent d’ajouter des instructions en fin de contexte pour remplacer les précédentes. Un préchauffage peut préparer des instructions partagées, des définitions d’outils ou du matériel de référence au démarrage, pour réduire la latence en déplaçant du calcul hors du temps d’attente utilisateur. L’ensemble de ces leviers complète les performances par défaut du moteur pour s’adapter à la charge de travail.
Agents persistants et réduction du traitement frais chez Copilot
Les agents persistants, capables de tenir des sessions de plusieurs heures pour refactorer du code ou produire des documents et des présentations, exécutent des séquences de requêtes avec des instructions et outils récurrents. OpenAI met en cache ce contexte pour réutiliser les calculs et accélérer les réponses. Outre les nouveaux outils de suivi et de diagnostic, des retours d’usage signalent des effets à grande échelle : selon Mario Rodriguez, la part de tokens d’invite nécessitant un traitement frais a baissé de plus de 50% sur des milliards de requêtes avec, à la clé, une pile d’inférence plus efficace et un premier token plus rapide pour les développeurs. Ce dispositif s’inscrit dans une version améliorée de la mise en cache d’invites de la famille GPT-6, visant des taux de réussite de cache plus élevés par défaut.
