L'IA à l'épreuve : mesurer son impact commercial réel

L'essor des projets pilotes d'IA

L'année dernière a été marquée par une prolifération de projets pilotes d'intelligence artificielle (IA) dans les entreprises. Ces initiatives ont souvent été accompagnées de souscriptions à des modèles de langage de grande taille (LLM) et d'une surveillance accrue par les managers de leur utilisation par les employés. Les discussions autour de l'IA étaient omniprésentes, illustrées par des expressions telles que « l'IA a rédigé mon mémo ».

Cependant, malgré l'enthousiasme initial, une déception généralisée s'est installée quant à l'impact réel de ces projets sur les performances commerciales. Avec la récente chute des actions des entreprises SaaS, la question cruciale est désormais de savoir si ces projets d'IA apportent réellement des résultats tangibles. L'IA, bien qu'étant une invention prometteuse, doit encore prouver sa valeur en tant qu'innovation économique viable.

Vers une IA agentique

L'avenir de l'IA semble se diriger vers des systèmes capables de prendre des décisions autonomes, également appelés IA agentiques. Ces systèmes doivent démontrer leur capacité à générer des résultats commerciaux mesurables pour être considérés comme de véritables innovations. Une invention devient une innovation lorsqu'elle est associée à un modèle économique solide.

Pour évaluer l'efficacité de ces systèmes, il est essentiel de se concentrer sur les résultats plutôt que sur les activités ou les anecdotes. Andy Grove, ancien PDG d'Intel, a proposé une approche pragmatique pour mesurer les performances des organisations en se basant sur les résultats concrets. Son livre, "High Output Management", fournit un cadre classique pour évaluer les résultats des managers intermédiaires, insistant sur l'importance de la mesure.

Grove soutient que les organisations doivent se concentrer sur les résultats plutôt que sur les intrants. En suivant cette logique, il est crucial de définir d'abord le résultat commercial que l'on souhaite atteindre, puis de mesurer l'IA agentique uniquement en fonction de l'amélioration de ce critère de performance.

L'exemple de Trax Technologies

Trax Technologies, une entreprise du portefeuille de Strattam, illustre bien cette approche. Spécialisée dans la gestion des expéditions mondiales pour de grandes multinationales, Trax a identifié une opportunité clé dans l'utilisation de l'IA pour résoudre certaines exceptions dans les factures de fret. L'entreprise a développé l'AI Audit Optimizer avec pour objectif de réduire le nombre d'exceptions nécessitant une intervention humaine.

Au premier trimestre suivant le lancement de cet outil, Trax a réussi à résoudre environ 826 000 exceptions. Bien que ce chiffre soit prometteur, il n'était pas encore suffisant pour avoir un impact significatif. Au deuxième trimestre, le système n'a pas montré d'amélioration, restant bloqué à ce niveau. Trax a donc expérimenté différentes approches pour améliorer les résultats.

Au troisième trimestre, l'entreprise a découvert qu'un ingénieur de prompt humain interagissant avec le système pouvait faire une grande différence. Grâce à cette intervention, les exceptions résolues ont triplé au quatrième trimestre, atteignant 2,5 millions. Trax a utilisé des données provenant de résolutions réussies et non réussies pour réentraîner le système et a fixé des objectifs trimestriels ambitieux pour continuer à améliorer les performances.

Avec cet objectif de sortie bien en tête, Trax avance en ajustant les points d'interaction entre l'ingénieur de prompt et le système. L'entreprise a utilisé des données provenant de résolutions réussies et non réussies pour réentraîner le système. Elle a également fixé des objectifs trimestriels ; le trimestre prochain, elle visera à ce que l'AI Audit Optimizer de Trax résolve plus que lors de tout trimestre précédent.

Mesurer ce qui compte

Dans un contexte où l'IA est souvent entourée de battage médiatique, il est crucial pour les entreprises de se concentrer sur les résultats concrets qu'elle peut apporter. Plutôt que de se laisser séduire par des outils ou des anecdotes, il est essentiel de déterminer les mesures de résultats qui comptent réellement. En s'inspirant des enseignements de Drucker et Grove, les entreprises peuvent s'assurer que l'IA justifie sa place en générant des résultats commerciaux tangibles.

Pour réussir cette adaptation, il est important de résister à l'envie d'acheter des outils ou de lancer des pilotes sans une stratégie claire. Les entreprises doivent se concentrer sur la mesure des résultats et ajuster leurs outils d'IA en conséquence. En adoptant cette approche, elles peuvent s'assurer que l'IA apporte une véritable valeur ajoutée et contribue à leur succès à long terme.