Tokenmaxxing : la nouvelle bataille des ingénieurs pour dominer l'IA

Un débat enflammé sur le tokenmaxxing

Le phénomène du tokenmaxxing a récemment capté l'attention des ingénieurs logiciels, provoquant un débat intense sur les réseaux sociaux. Ce concept, qui consiste à maximiser l'utilisation des tokens IA, est perçu par certains comme une nouvelle manière de mesurer la productivité dans le secteur technologique. Garry Tan, PDG de Y Combinator, a adopté le terme en déclarant : "Nous faisons du tokenmaxxing depuis plus longtemps que la plupart des gens." Cependant, d'autres voix s'élèvent pour critiquer cette approche, la qualifiant de mesure inefficace qui pourrait encourager un usage abusif des tokens.

Dans l'industrie technologique, les ingénieurs ne se contentent plus de compter les lignes de code. Avec l'avènement du tokenmaxxing, ils disposent désormais de nouveaux outils de codage IA et d'un portefeuille de tokens à dépenser. Ces tokens, qui représentent une unité de calcul, sont utilisés pour évaluer le coût du travail en IA. Des entreprises comme OpenAI et Anthropic incluent même cette notion dans leurs offres de bourses en IA.

Le débat autour du tokenmaxxing a été ravivé par un rapport de The Information sur des ingénieurs de Meta qui cherchent à maximiser leur utilisation de tokens pour se classer sur un tableau de bord interne appelé "Claudeonomics". Ce tableau permet aux employés de rivaliser pour des titres prestigieux tels que "Token Legend". Cependant, cette pratique est critiquée pour inciter à une utilisation inefficace de l'IA, certains ingénieurs allant même jusqu'à créer des bots pour brûler des tokens inutilement. Jon Chu, partenaire chez Khosla Ventures, a écrit sur X que des gens construisent des bots pour brûler des tokens aussi vite que possible.

Certains affirment que c'est un indicateur utile de l'adoption de nouveaux outils par les employés ; d'autres disent que cela pourrait inciter à une utilisation inefficace de l'IA au sein des entreprises, menant à une manipulation performative de la métrique. Cristina Cordova, COO de Linear, a écrit sur X : "Ne confondez pas un taux de consommation élevé avec un taux de succès élevé."

Pour comprendre le tokenmaxxing, il faut d'abord savoir ce qu'est un token. Les grands modèles de langage décomposent les mots en entrées numériques, considérant chaque token comme environ ¾ d'un mot. Les modèles d'IA facturent en fonction du nombre de tokens utilisés. Le tokenmaxxing, donc, est la volonté de dépenser autant de tokens que possible. Meta et OpenAI ne sont que quelques-unes des entreprises technologiques avec des classements de tokens, comme l'a précédemment rapporté The New York Times.

Bien qu'il soit difficile de mesurer l'ampleur du tokenmaxxing, les dépenses en IA des entreprises sont clairement en hausse. La société fintech Ramp a qualifié cela de "$1 trillion blind spot" sur X, citant des données de Gartner montrant que les dépenses mensuelles en IA parmi les entreprises ont quadruplé au cours de l'année dernière.

C'est aussi une façon de se vanter. Les fondateurs et les ingénieurs tournés vers l'avenir publient leurs dépenses en tokens sur X pour signaler à quel point ils sont investis dans l'IA.

Bien que le PDG de Nvidia, Jensen Huang, n'ait pas commenté directement le tokenmaxxing, il a souligné l'importance pour les ingénieurs de consommer un nombre significatif de tokens. Il a affirmé que si un ingénieur coûtant 500 000 dollars ne consommait pas au moins 250 000 dollars de tokens, il serait "profondément alarmé." Cette tendance pourrait transformer la manière dont la productivité est mesurée dans l'industrie technologique, influençant potentiellement les pratiques de recrutement et de gestion. Gergely Orosz, auteur de The Pragmatic Engineer, a qualifié cette pratique de gaspillage, tandis que Ben Pouladian de BEP Research a souligné que le calcul est devenu le goulot d'étranglement de l'innovation.

Enfin, Edwin Wee Arbus, employé chez Cursor, a comparé la métrique du tokenmaxxing à l'indice de masse corporelle (IMC), la qualifiant de "proxy utile et rapide, mais légèrement défectueux." Arush Shankar, ingénieur logiciel chez Persona, a rappelé que les dépenses en tokens ne sont qu'un signal parmi d'autres et ne doivent pas être considérées isolément.