Nvidia et le dilemme des tokens : optimiser sans sacrifier l'humain

Nvidia et la gestion stratégique des tokens

Lors d'une intervention remarquée au podcast All-In, Jensen Huang, le PDG de Nvidia, a abordé une question cruciale pour l'avenir de l'industrie technologique : comment justifier le coût des ingénieurs par rapport à leur consommation de tokens. Selon lui, si un ingénieur dont le salaire annuel atteint 500 000 dollars consomme moins de la moitié de cette somme en tokens, cela devrait être un motif de préoccupation. Nvidia se fixe un objectif ambitieux : un budget annuel de 2 milliards de dollars en tokens pour ses équipes d'ingénieurs.

Cette déclaration met en lumière un compromis que de nombreuses entreprises ont déjà adopté discrètement : réorienter les fonds traditionnellement alloués aux salaires vers l'achat de tokens. Les quatre plus grands hyperscalers prévoient d'investir environ 700 milliards de dollars en dépenses d'investissement pour 2026, soit presque le double de l'année précédente. Parallèlement, des données de Challenger, Gray & Christmas révèlent que l'IA est la principale raison des licenciements aux États-Unis depuis quatre mois consécutifs.

Les licenciements comme stratégie de financement

Un mémo interne de Meta, révélé par Reuters, a détaillé la suppression de 8 000 postes en mai, justifiée par des investissements importants, alors même que le chiffre d'affaires de l'entreprise augmentait de 33 % ce trimestre-là. Ces licenciements ne sont pas simplement des mesures de survie, mais une manière de financer l'innovation.

Cependant, ces financements n'ont pas toujours produit les résultats escomptés. Une enquête de Gartner, menée auprès de 350 dirigeants d'entreprises générant plus de 1 milliard de dollars de revenus et utilisant l'IA, a montré qu'environ 80 % d'entre elles avaient réduit leurs effectifs sans amélioration notable des rendements. Helen Poitevin, analyste chez Gartner, a été claire : “Les réductions de personnel peuvent libérer des fonds, mais elles n'améliorent pas les résultats.”

Uber et la gestion des tokens

Uber a fait l'expérience coûteuse de la gestion des tokens en fournissant à 5 000 ingénieurs des outils de codage IA en décembre, épuisant ainsi son budget IA pour 2026 dès avril. Bien que 70 % du code produit soit généré par l'IA, le directeur des opérations, Andrew Macdonald, a admis que le lien avec l'expérience client reste à établir : “Ce lien n'est pas encore là.”

Ces exemples montrent que les entreprises ont souvent considéré les dépenses en tokens comme fixes et la main-d'œuvre comme variable, alors que la réalité pourrait être l'inverse. Les licenciements entraînent une perte de savoir institutionnel, tandis que le budget de tokens peut être ajusté avec des efforts ciblés.

Optimiser le budget de tokens

Une des solutions les plus efficaces et économiques consiste à éviter de payer plusieurs fois pour le traitement du même texte. Le prompt caching, désormais standard chez les principaux fournisseurs d'API, permet de réduire les coûts des entrées répétées jusqu'à 90 %. Cela est possible car le contenu statique, comme les instructions système et les documents de référence, est traité une seule fois, puis relu à un coût réduit.

ProjectDiscovery, une société de sécurité, a documenté une augmentation de son taux de réussite de cache de 7 % à 84 % en restructurant ses prompts, réduisant ainsi ses dépenses totales en LLM de 59 à 70 % tout en servant 9,8 milliards de tokens à partir du cache. Cette approche a permis de récupérer plus de budget que la plupart des licenciements liés à l'IA.

Choisir le bon modèle pour chaque tâche

Un autre levier consiste à assigner les tâches au modèle de taille appropriée. Les modèles phares coûtent cinq fois plus cher que leurs homologues plus petits par token, mais de nombreuses charges de travail continuent d'utiliser par défaut les modèles les plus coûteux pour des tâches de classification et de résumé. Le traitement par lot offre un rabais supplémentaire de 50 % pour les tâches ne nécessitant pas de réponse en temps réel.

La génération augmentée par récupération propose une autre approche en envoyant au modèle uniquement la partie pertinente d'une base de connaissances, plutôt que l'ensemble. La compression des prompts réduit également les exemples redondants qui alourdissent chaque appel. Les modèles à poids ouverts permettent de réduire encore les coûts, gérant les charges de travail routinières à une fraction des prix des API de pointe, pour les équipes prêtes à gérer l'infrastructure.

La discipline budgétaire et l'avenir de l'IA

Ces mesures sont l'équivalent en IA d'éteindre les lumières dans des pièces inoccupées. Uber a imposé un plafond de 1 500 dollars par mois par ingénieur après avoir dépassé son budget en avril, preuve que la discipline budgétaire commence à s'imposer. Les entreprises qui anticipent ces ajustements choisissent de le faire avant que le budget ne les y contraigne.

Investir dans l'humain : une nécessité

Optimiser les dépenses en tokens n'a de sens que si les économies réalisées sont réinvesties de manière productive, et les preuves les plus solides indiquent que cet investissement doit être dirigé vers les personnes. Selon Helen Poitevin, les organisations qui ont amélioré leur retour sur investissement sont celles qui utilisent l'IA pour amplifier leur main-d'œuvre plutôt que pour la remplacer.

Klarna a mené une expérience révélatrice en remplaçant environ 700 postes de service client par un assistant IA alimenté par OpenAI, avant de constater une baisse de la satisfaction client. Le PDG Sebastian Siemiatkowski a admis à Bloomberg : “Le résultat était de moindre qualité, et ce n'est pas durable.”

Aujourd'hui, Klarna fonctionne sur un modèle hybride où l'IA traite le volume routinier, tandis que les humains réembauchés gèrent les tâches nécessitant du jugement. Gartner prévoit que d'ici 2027, la moitié des entreprises ayant réduit leur personnel de service client pour l'IA les réembaucheront.

Le défi de l'emploi des jeunes développeurs

L'investissement dans la main-d'œuvre est devenu urgent plutôt que facultatif. L'Institut pour l'IA centrée sur l'humain de l'Université de Stanford a constaté que l'emploi des développeurs de logiciels âgés de 22 à 25 ans avait chuté de près de 20 % par rapport aux niveaux de 2024, alors que les cohortes plus âgées ont augmenté. Cela signifie que les entreprises suppriment le terrain d'entraînement pour les ingénieurs seniors dont elles auront besoin pour diriger ces systèmes dans cinq ans.

Une entreprise qui réussit à réduire de 60 % sa facture de tokens dispose de la marge budgétaire nécessaire pour continuer à embaucher à la base. Si elle le fait, c'est une décision de leadership, pas une simple décision financière.

La réflexion de Jensen Huang de Nvidia continuera de résonner lors des réunions de résultats, et les dépenses en capital continueront d'augmenter. Les entreprises qui réussiront ne seront pas celles qui auront dépensé le plus en tokens ou licencié le plus de personnes pour les financer, mais celles qui auront compris que le budget de tokens était flexible dès le départ, l'auront optimisé par l'ingénierie plutôt que par les effectifs, et auront investi la différence dans les personnes qui rendent ces tokens précieux.