Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Une nouvelle approche pour mesurer le succès de l'IA
Boris Cherny, le cerveau derrière Claude Code et concepteur de l'outil de codage le plus important d'Anthropic, propose une nouvelle méthode pour évaluer l'efficacité des technologies d'intelligence artificielle. Plutôt que de se focaliser sur le nombre de tokens consommés, Cherny suggère que les entreprises devraient mesurer les heures de travail humain économisées grâce à l'IA. Cette proposition intervient alors que de nombreuses entreprises cherchent à optimiser leurs dépenses croissantes en intelligence artificielle. Le retour sur investissement (ROI) de l'IA est devenu un sujet central dans le monde des affaires.
Un cadre en quatre étapes pour l'adoption de l'IA
Dans une série de publications sur X jeudi, Boris Cherny a détaillé un cadre en quatre étapes pour intégrer l'IA dans les entreprises. Lors de la troisième étape, il a souligné l'importance de mesurer les retours une fois que l'IA est intégrée dans les processus de travail des employés. Il a expliqué que surveiller simplement l'utilisation via un tableau de bord ne suffit pas, car cela ne reflète que l'activité et non le retour sur investissement réel.
Évaluer les efforts d'ingénierie économisés
Cherny propose de se poser la question suivante : si l'IA n'avait pas été utilisée, combien d'efforts d'ingénierie auraient été nécessaires pour accomplir la même tâche ? En calculant le coût en heures d'ingénierie manuelles, les entreprises peuvent mieux évaluer le retour sur investissement de l'IA. Il insiste sur le fait que cette approche permet de mieux comprendre l'impact réel de l'IA sur l'efficacité des équipes.
L'impact de l'IA sur l'innovation
Dans une publication ultérieure, Cherny a affirmé que le véritable avantage de l'IA se manifeste lorsque les corrections et la maintenance se font en arrière-plan, libérant ainsi les équipes pour se concentrer sur la création. Cela ouvre la voie à des innovations qui étaient auparavant inimaginables. Les entreprises peuvent ainsi explorer de nouvelles opportunités et repousser les limites de ce qui est possible.
Réflexions sur le retour sur investissement de l'IA
Ce n'est pas la première fois que Cherny aborde le sujet du retour sur investissement de l'IA. Lors d'une discussion avec Scale AI, il a souligné que les entreprises doivent réfléchir à la valeur ajoutée par l'IA, qui peut se manifester de différentes manières, comme une accélération du développement de code par les ingénieurs.
La fin du "tokenmaxxing"
Les commentaires de Cherny arrivent à un moment où la tendance du "tokenmaxxing" s'estompe. Les entreprises cherchent désormais à maximiser la valeur obtenue pour chaque euro dépensé en IA. Des entreprises comme Coinbase et Vercel ont partagé des stratégies pour réduire les coûts tout en maintenant l'utilisation de l'IA, par exemple en optant pour des modèles chinois plus abordables.
Le coût croissant de l'IA
Le débat sur le retour sur investissement de l'IA s'intensifie, avec des figures influentes du monde des affaires qui prennent position. Jamie Dimon, PDG de JPMorgan, a récemment déclaré à CNBC que les coûts liés à l'IA augmentent rapidement, incitant les entreprises à adopter une approche rationnelle. Sam Altman, PDG d'OpenAI, a également souligné l'importance de ce sujet lors de la conférence Allen & Co. à Sun Valley, mentionnant dans une interview avec CNBC lors de l'événement en Idaho que la réduction des dépenses et l'augmentation de la valeur sont des préoccupations majeures pour les entreprises.
