'Tokenmaxxing' has techies debating if leaderboards tracking AI token use are a good idea

Le 'tokenmaxxing' suscite un débat parmi les techniciens sur l'utilité des classements de consommation de tokens IA

La tendance du "tokenmaxxing" suscite des débats parmi les ingénieurs logiciels en ligne sur la meilleure façon de mesurer la productivité en IA. Les ingénieurs discutent de l'idée de dépenser autant de tokens IA que possible. Le PDG de Y Combinator, Garry Tan, a adopté le terme : "Nous faisons du tokenmaxxing depuis plus longtemps que la plupart des gens." D'autres le qualifient de mesure de productivité inefficace, incitant à un usage abusif des tokens ou à manipuler les classements des entreprises.

Oubliez les lignes de code écrites, les ingénieurs ont une nouvelle façon de rivaliser entre eux. Bienvenue à l'ère du tokenmaxxing. Armés de nouveaux outils de codage IA, les développeurs logiciels de l'industrie technologique disposent d'un portefeuille plein de tokens à dépenser. Les tokens, une mesure de calcul qui détermine le prix du travail en IA, ont été proposés comme une forme de compensation pour les ingénieurs, apparaissant même dans les descriptions de postes pour des bourses en IA chez OpenAI et Anthropic.

Mais dépenser des tokens est-il un bon indicateur de la productivité des développeurs ? La question a enflammé les réseaux sociaux cette semaine alors que des techniciens débattent du concept de tokenmaxxing après que The Information a rapporté que certains ingénieurs de Meta s'efforcent de dépenser des tokens pour se classer sur un tableau de bord créé par les employés, appelé "Claudeonomics", qui suit l'utilisation et permet aux employés de rivaliser pour des titres comme "Token Legend." L'entreprise n'a pas répondu à une demande de commentaire de Business Insider.

Certains affirment que c'est un indicateur utile de l'adoption de nouveaux outils par les employés ; d'autres disent que cela pourrait inciter à une utilisation inefficace de l'IA au sein des entreprises, menant à une manipulation performative de la métrique.

• "Classer les ingénieurs par dépenses de tokens, c'est comme si je classais mon équipe marketing par qui a dépensé le plus d'argent," a écrit Cristina Cordova, COO de Linear, sur X. "Ne confondez pas un taux de consommation élevé avec un taux de succès élevé."

Qu'est-ce que le tokenmaxxing ?

Pour comprendre le tokenmaxxing, il faut d'abord savoir ce qu'est un token. Les grands modèles de langage décomposent les mots en entrées numériques, considérant chaque token comme environ ¾ d'un mot. Les modèles d'IA facturent en fonction du nombre de tokens utilisés.

Le tokenmaxxing, donc, est la volonté de dépenser autant de tokens que possible. Meta et OpenAI ne sont que quelques-unes des entreprises technologiques avec des classements de tokens, comme l'a précédemment rapporté The New York Times. Bien qu'il soit difficile de mesurer l'ampleur du tokenmaxxing, les dépenses en IA des entreprises sont clairement en hausse. La société fintech Ramp a qualifié cela de "$1 trillion blind spot" sur X, citant des données de Gartner montrant que les dépenses mensuelles en IA parmi les entreprises ont quadruplé au cours de l'année dernière.

C'est aussi une façon de se vanter. Les fondateurs et les ingénieurs tournés vers l'avenir publient leurs dépenses en tokens sur X pour signaler à quel point ils sont investis dans l'IA. Un employé de xAI a écrit que la technologie transforme chaque bonne idée "en théâtre".

Le tokenmaxxing est-il un bon incitatif ?

Certains dans le monde technologique soutiennent que le tokenmaxxing est une métrique efficace ; d'autres le qualifient de dépenses imprudentes. Jon Chu, partenaire chez Khosla Ventures, a qualifié la mesure des dépenses de tokens de "politique absolument stupide" sur X.

• "Beaucoup de mes amis chez Meta m'ont dit que des gens construisent des bots qui fonctionnent en boucle pour brûler des tokens aussi vite que possible à cause de cette politique," a-t-il écrit.

Edwin Wee Arbus, employé chez Cursor, a offert une perspective nuancée sur la métrique, la qualifiant de "proxy utile et rapide, mais légèrement défectueux." Il l'a comparée à l'indice de masse corporelle (IMC), qui peut fournir des informations sur la santé mais ne capture pas la masse musculaire ou osseuse.

Bien que le PDG de Nvidia, Jensen Huang, n'ait pas directement commenté le tokenmaxxing, il a souligné l'importance pour les ingénieurs d'utiliser beaucoup de tokens, affirmant que si un ingénieur coûtant 500 000 dollars ne consommait pas au moins 250 000 dollars de tokens, il serait "profondément alarmé."

• "Le tokenmaxxing est l'heuristique la plus odieuse que j'aie jamais entendue. En fait, je soutiendrais que le meilleur ingénieur peut résoudre le problème avec moins de tokens," a déclaré Chester sur X.

Gergely Orosz, auteur de la newsletter The Pragmatic Engineer, a qualifié la pratique de gaspillage. "Les développeurs manipulent tout ce qui est perçu comme un objectif pour plus de bonus ou de promotions," a-t-il écrit. "Ce n'était pas différent."

Ben Pouladian, fondateur de BEP Research, a tiré une autre conclusion de cette tendance, affirmant que le calcul est le goulot d'étranglement de l'innovation. "À l'ère de l'IA, chaque employé devient un consommateur de calcul," a-t-il écrit sur X.

• "Les dépenses en tokens sont toujours un résultat, pas une entrée," a écrit Arush Shankar, ingénieur logiciel chez Persona, qui a précédemment travaillé chez Square et Microsoft, selon son LinkedIn. "Il vaut la peine d'y prêter attention, mais jamais isolément. C'est un signal mais pas LE signal."