Box CEO explains why he's ok with engineers wasting some AI tokens right now

Le PDG de Box explique pourquoi il est d'accord avec le fait que ses ingénieurs gaspillent des jetons d'IA en ce moment

Le PDG de Box, Aaron Levie, n'est pas inquiet concernant la consommation de jetons d'IA par son entreprise. Il a déclaré qu'il préférait que ses ingénieurs gaspillent des jetons, car cela signifie qu'ils essaient de nouvelles choses.

À travers la Silicon Valley, il y a une tendance à maximiser l'utilisation des jetons. Levie a affirmé : "Pour moi, en ce moment, je pense que nous devrions probablement gaspiller beaucoup de jetons, car cela signifie que nous essayons de nouvelles choses." Ses propos reflètent l'état d'esprit actuel de nombreux acteurs de la Silicon Valley concernant l'utilisation de l'IA agentique. Le PDG de Nvidia, Jensen Huang, a récemment exprimé qu'il serait "profondément alarmé" si un ingénieur gagnant 500 000 dollars ne consommait pas l'équivalent de 250 000 dollars en jetons. Certaines entreprises, comme Meta et OpenAI, encouragent le "Tokenmaxxing" en affichant des classements des plus gros utilisateurs.

Levie a déjà souligné que les entreprises doivent comprendre que l'utilisation des jetons ne se limite pas seulement à leurs équipes d'ingénierie. Les jetons sont la manière dont les grands modèles de langage décomposent les mots en entrées et sorties numériques. Les fournisseurs d'IA, y compris OpenAI, facturent en fonction du nombre de jetons utilisés.

Les ingénieurs et les entreprises sont confrontés à de grandes questions sur la manière de déployer des agents d'IA, qui, par leur conception même, exécutent des requêtes plus sophistiquées et fonctionnent sur de plus longues périodes, augmentant ainsi l'utilisation des jetons. Levie a déclaré que chaque ingénieur est aux prises avec cette problématique.

Il a posé des questions cruciales :

• "Voulez-vous que cela soit une requête de longue durée ?"
• "Devez-vous avoir un agent de longue durée ?"
• "Souhaitez-vous paralléliser cela ?"
• "Quel est votre niveau de confort face aux jetons gaspillés ?"

Levie a ajouté que ces questions ne seront pas résolues "jusqu'à ce que nous puissions réellement trouver un moyen de construire une capacité de centre de données." À ce moment-là, les fournisseurs d'IA pourraient facturer moins pour les jetons, car ils ne seraient pas aussi inquiets de tirer sur leur capacité de calcul finie. Déjà, des entreprises d'IA comme Anthropic ont mis en place des politiques pour tenter de gérer les pics d'utilisation.

En attendant, l'IA agentique ne se limite pas à l'utilisation des jetons, a précisé Levie. Il a mentionné que les CFO et CIO "courent dans tous les sens, les cheveux en désordre, essayant de comprendre" si les politiques IT et d'intégration actuelles de leurs entreprises fonctionnent à l'ère de l'IA agentique.

Il a souligné : "Comment coordonner, vous savez, le fait que vous pourriez frapper ce système comme 10 000 fois par heure ou quelque chose comme ça, non pas du point de vue de la performance, mais juste comment vous assurez que les gens n'ont pas déplacé un fichier d'une chose, accidentellement, d'un dossier à un autre dossier, pendant qu'une autre personne essayait de faire une opération d'écriture, et que quelqu'un d'autre essayait de supprimer quelque chose parce que vous avez juste ces agents qui fonctionnent de manière autonome."