L’IA d’entreprise promet des gains rapides, mais McKinsey rappelle qu’une grande partie de la valeur peut être détruite par un mauvais usage des modèles, des prompts trop longs et des workflows mal gouvernés. Dans son analyse sur la gestion de la demande IA à l’échelle, le cabinet insiste sur un point simple : le vrai sujet n’est pas seulement le coût du token, mais la façon dont l’organisation conçoit, contrôle et réutilise ses usages d’IA.
Le message est clair pour 2025-2026 : réduire les "déchets d’IA" ne se limite pas à payer moins cher. Cela suppose de revoir les modèles choisis, les volumes d’inputs, les boucles d’agents, la gouvernance et, surtout, la culture de travail qui pousse souvent à "ajouter de l’IA" sans mesurer la valeur créée.
Le vrai coût de l’IA n’est pas le modèle, mais le mauvais usage
Le premier gaspillage vient rarement du prix affiché d’un modèle ; il vient du fait de confier trop de tâches à des modèles trop puissants, ou de multiplier les échanges inutiles.
McKinsey recommande de router chaque tâche vers le modèle le moins coûteux capable d’atteindre la qualité requise, au lieu d’utiliser systématiquement des modèles frontier plus chers. Le cabinet insiste aussi sur la réduction des prompts trop volumineux, des contextes surdimensionnés et des historiques de conversation renvoyés en entier au modèle.
Ce que McKinsey identifie comme principaux leviers
- Choisir le bon type de modèle pour chaque tâche, plutôt qu’un modèle premium par défaut.
- Réduire les inputs gonflés en supprimant le contexte inutile et en résumant l’historique avant réinjection.
- Contrôler les outputs avec des formats structurés et des limites de longueur adaptées au cas d’usage.
- Encadrer les agents en limitant les retries, tool calls, loops et escalades.
- Batcher et cacher les requêtes répétitives ou non urgentes pour éviter de payer deux fois le même calcul.
À retenir : McKinsey ne traite pas l’optimisation IA comme un problème de coût unitaire, mais comme un problème d’architecture d’usage.
Les prompts trop longs coûtent cher, et McKinsey chiffre le gain potentiel
Le gaspillage le plus concret est souvent invisible : des prompts enrichis de documents entiers, des sections de contexte répétées et des conversations archivées puis renvoyées au modèle à chaque tour.
McKinsey indique que la réutilisation d’un contexte de prompt statique peut réduire de jusqu’à environ 90 % les coûts récurrents d’input-token, en particulier pour les systèmes de RAG et les agents dotés de préfixes larges et stables. Cette estimation rend la question très opérationnelle : la première économie n’est pas dans l’intelligence du modèle, mais dans la discipline du contexte.
Les pratiques à corriger en priorité
- Envoyer des documents complets quand seule une section est utile.
- Réinjecter tout l’historique d’échange au lieu d’en produire un résumé.
- Laisser les modèles générer des réponses longues sans contrainte de format.
- Ajouter plusieurs couches d’agents sans métrique claire de coût par étape.
McKinsey souligne aussi la nécessité de capper la longueur des réponses selon le cas d’usage et d’utiliser des structured outputs lorsque c’est possible, afin de limiter les textes inutiles générés par le modèle.
Les agents peuvent exploser la facture si on ne limite pas les boucles
Les agents promettent d’automatiser davantage de travail, mais ils peuvent aussi multiplier les itérations, les appels outils et les escalades.
McKinsey recommande de fixer des limites explicites sur les retries, les tool calls, les agent loops et les paths d’escalade, puis de redessiner les workflows en amont plutôt que de simplement “jeter des agents” sur un problème mal structuré. Autrement dit, l’automatisation ne corrige pas un process flou ; elle le rend simplement plus coûteux à grande échelle.
Le point est important pour les directions métiers comme pour les DSI : un agent qui réessaie plusieurs fois une tâche mal définie peut consommer une part disproportionnée du budget IA sans améliorer le résultat final. C’est précisément ce que McKinsey appelle à mieux gouverner avant l’industrialisation.
La culture d’entreprise doit passer de l’expérimentation à la mesure
Le cœur de l’analyse McKinsey n’est pas seulement technique : c’est un sujet de culture managériale.
Le cabinet explique que les entreprises doivent construire des capacités de forecasting pour comprendre où se concentre la consommation, quels cas d’usage entraînent les coûts, et quelles applications créent réellement de la valeur. Sans cela, les organisations découvrent trop tard quels services consomment le plus de budget, et pourquoi.
Ce que cela change dans l’organisation
- Les équipes doivent suivre la consommation par cas d’usage, et pas seulement le nombre total de requêtes.
- Les responsables doivent comparer le coût complet d’un workflow à la valeur des tâches réellement accomplies.
- La gouvernance doit être intégrée dans l’environnement IA lui-même, via des AI gateways, des control planes et des policy engines.
- Les garde-fous doivent devenir automatiques, car la supervision manuelle ne tient pas à l’échelle.
À retenir : pour McKinsey, l’enjeu culturel consiste à faire passer l’IA d’un réflexe d’adoption à une logique de pilotage par la valeur.
Gouvernance intégrée : la seule manière de tenir à grande échelle
McKinsey affirme que, lorsque l’adoption IA s’accélère, l’automatisation devient la seule façon pratique de gouverner la consommation à grande échelle.
Le cabinet recommande d’embarquer la gouvernance directement dans l’architecture, avec des mécanismes de contrôle dès la couche d’accès, de routage et de policy enforcement. Cette approche évite que les équipes contourent les règles, multiplient les usages non suivis ou réutilisent des modèles trop coûteux pour des tâches simples.
Ce point rejoint un constat plus large sur la maturité des entreprises IA : sans règles techniques visibles, la gouvernance reste déclarative. Avec des garde-fous intégrés, elle devient mesurable, auditable et beaucoup plus difficile à contourner.
Ce que cela implique pour les entreprises en 2025-2026
Le sujet n’est plus de savoir s’il faut adopter l’IA, mais comment empêcher l’adoption de créer du gaspillage systémique.
McKinsey met en avant une logique de portefeuille : des modèles plus petits pour les tâches simples, des contextes raccourcis, des outputs bornés, des agents mieux limités et une gouvernance intégrée. L’enjeu est de construire un usage où chaque requête a une justification économique, pas seulement une justification technologique.
Les indicateurs à suivre en priorité
- Coût par cas d’usage, pas seulement coût total mensuel.
- Taux de réutilisation des contextes statiques.
- Nombre moyen de retries et de tool calls par workflow.
- Longueur moyenne des réponses générées.
- Part des tâches routées vers le modèle le moins cher compatible avec la qualité attendue.
À retenir : l’efficacité IA ne vient pas d’un modèle miracle, mais d’un système de décision plus sobre sur chaque token consommé.
Ce que McKinsey ne dit pas explicitement, mais que l’analyse permet d’inférer
L’analyse de McKinsey suggère qu’une entreprise qui veut vraiment réduire ses déchets d’IA doit traiter l’IA comme une capacité d’exploitation, et non comme une simple fonctionnalité logicielle. Cette inférence est cohérente avec ses recommandations sur le forecasting, la gouvernance et le routage des modèles, mais elle n’est pas formulée comme telle dans le texte source.
En pratique, cela signifie que les entreprises les plus avancées devront probablement combiner trois niveaux de discipline : une politique de modèle, une politique de contexte et une politique de workflow. Sans ces trois couches, les économies sur le papier risquent d’être absorbées par la complexité des agents, la duplication des prompts et l’absence de pilotage fin.
Notre avis : qui devrait passer en pro maintenant ?
Pour Brief IA, le bon arbitrage en 2025-2026 n’est pas de “faire plus d’IA”, mais de professionnaliser l’IA là où elle produit déjà de la valeur. Les entreprises qui doivent passer en mode plus structuré sont celles qui ont déjà des usages répétés, des volumes élevés de prompts, des agents en production ou une facture IA difficile à attribuer précisément.
À l’inverse, celles qui n’ont encore que des tests isolés ont surtout besoin d’un cadre de mesure avant d’augmenter leurs dépenses. Sur les six prochains mois, la vraie différenciation viendra moins de la course au modèle le plus puissant que de la capacité à réduire les boucles inutiles, standardiser les contextes et installer une gouvernance automatique.
La question n’est donc plus seulement : combien coûte l’IA ? Elle devient : combien de tâches inutiles votre entreprise continue-t-elle de payer à cause de son propre design de travail ?