EY révolutionne la gestion des coûts IA avec un routeur 'invisible'

EY introduit un routeur IA pour réduire les coûts

La société EY, l'une des grandes firmes de conseil connues sous le nom de Big Four, a récemment intégré un routeur IA "invisible" dans ses systèmes. Ce dispositif a été conçu pour optimiser l'utilisation des jetons, qui sont des unités de mesure de l'entrée et de la sortie des modèles d'intelligence artificielle. Selon Dan Diasio, responsable mondial de la consultation en IA chez EY, ce routeur a permis à certaines divisions de réduire leur consommation de jetons jusqu'à 60 %. Le routeur guide les employés vers l'outil d'IA le plus adapté à leur tâche, ce qui a un impact direct sur les économies réalisées.

Un système de gestion des requêtes IA

EY a mis en place ce routeur pour éviter que chaque demande des employés ne se dirige automatiquement vers les modèles d'IA les plus performants, qui sont souvent plus coûteux. Dan Diasio a expliqué que le routeur, déployé mondialement en avril, fonctionne en arrière-plan des outils d'IA spécialisés d'EY. Il agit comme un intermédiaire, dirigeant les requêtes des employés vers le modèle le plus approprié pour chaque tâche spécifique. Pour les utilisateurs, l'expérience reste inchangée : ils saisissent leur requête et reçoivent une réponse. Cependant, le routeur optimise en coulisses l'acheminement des requêtes, souvent plus rapidement que les modèles les plus lourds.

La pression des coûts liés aux jetons

Les entreprises font face à une pression croissante concernant les coûts associés aux jetons, car les fournisseurs d'IA adoptent des modèles de tarification basés sur l'utilisation. Depuis octobre, des entreprises comme OpenAI, Anthropic et GitHub ont introduit des systèmes de facturation qui prennent en compte le nombre de jetons utilisés, plutôt qu'un tarif fixe. Cette évolution signifie que l'utilisation de modèles puissants pour des tâches simples peut rapidement devenir coûteuse. Une enquête AI Pulse menée par EY a révélé que 82 % des dirigeants d'entreprises investissant dans l'IA sont préoccupés par ces coûts. L'étude, réalisée entre avril et mai, a interrogé 534 décideurs seniors d'entreprises américaines.

Optimisation des outils IA pour réduire le gaspillage

Selon Diasio, les factures élevées que reçoivent certaines entreprises sont souvent dues à une petite fraction de leurs employés, environ 1 % ou 2 %, qui utilisent des outils inappropriés pour leurs tâches. Le routeur IA d'EY aide à sélectionner le bon modèle pour chaque travail, limitant ainsi le gaspillage de jetons. Cette approche garantit que les demandes d'IA plus coûteuses sont réservées aux fonctions où elles apportent le plus de valeur. De nombreux clients d'EY adoptent également cette solution pour mieux gérer leurs coûts.

Déploiement ciblé du routeur IA

Le routeur n'est pas encore universellement déployé dans tous les outils d'IA d'EY. Il est actuellement utilisé sur des plateformes spécifiques à certains départements, comme la fiscalité et le risque. En revanche, il n'est pas appliqué au chatbot Microsoft Copilot, qui est accessible à l'ensemble du personnel d'EY. Malgré cela, l'impact du routeur sur la consommation de jetons est significatif, avec une réduction de 60 % depuis son introduction en avril, grâce à des stratégies de formation et de gouvernance.

Vers une nouvelle phase de gestion de l'IA

La première phase d'adoption de l'IA en entreprise visait à encourager l'utilisation maximale de la technologie, un phénomène connu sous le nom de "tokenmaxxing". Cependant, la hausse des coûts a déplacé l'attention vers le contrôle de cette utilisation. Des entreprises comme Disney et JPMorgan ont mis en place des tableaux de bord pour suivre l'utilisation de l'IA par leurs employés, et de nouvelles startups spécialisées dans le routage de l'IA émergent pour aider à gérer les dépenses.

EY a instauré des budgets de jetons en fonction des rôles et des départements des employés. Ceux qui dépassent leur allocation peuvent demander des jetons supplémentaires via un processus d'approbation. Selon le rapport AI Pulse, 64 % des dirigeants affirment que leurs organisations surveillent désormais l'utilisation des jetons et disposent de garde-fous budgétaires. Diasio prévoit que ce chiffre atteindra 90 % dans les six prochains mois.

Maximiser la valeur de l'IA en entreprise

Diasio souligne que les entreprises peuvent également maximiser la valeur de leurs dépenses en IA en renforçant leurs connaissances internes et en concevant de meilleures requêtes basées sur leurs propres données. Il recommande de concentrer les investissements dans les domaines où l'IA peut avoir le plus grand impact sur le travail, plutôt que de disperser les ressources. La surveillance de l'utilisation par les employés reste cruciale, mais l'accent se déplace vers la valeur et les résultats obtenus grâce à l'IA. Mesurer cette valeur nécessite de dépasser les simples profits et pertes pour évaluer si l'IA permet aux employés de travailler plus efficacement et d'explorer de nouvelles initiatives.