Rippling optimise les dépenses en IA avec un nouvel outil

Rippling innove avec l'AI Spend Console

Rippling, un fournisseur de logiciels de ressources humaines, a récemment dévoilé l'AI Spend Console, un outil conçu pour aider les entreprises à surveiller et contrôler leurs dépenses en intelligence artificielle. Ce produit se distingue par sa capacité à cartographier les dépenses effectuées par chaque employé, équipe et rôle, tout en évaluant si ces dépenses se traduisent par une productivité accrue ou simplement par une production de contenu de moindre qualité.

L'entreprise affirme que cet outil permettra de mettre en lumière les ingénieurs dont les dépenses en IA sont élevées et dont le travail est souvent remis en question par leurs pairs lors des revues de code, comme le précise leur blog officiel.

Une prise de conscience coûteuse

L'AI Spend Console est née après que Rippling a réalisé d'importants investissements dans le tokenmaxxing au début de l'année, pour découvrir que les dépenses des employés étaient excessives. Matt MacInnis, directeur produit, se souvient d'une réunion en mars où Adam Swiecicki, le directeur financier, a révélé un chiffre alarmant.

Rippling était sur le point de consacrer 40% de son budget de personnel en R&D aux tokens IA, ce qui équivalait à 40% des salaires versés aux employés de cette unité. Cette situation représentait des millions de dollars, car l'organisation R&D inclut principalement les ingénieurs dans les entreprises technologiques.

Les dépenses augmentaient de 80% chaque mois, et si cette tendance se poursuivait, l'entreprise aurait dépensé presque autant en tokens IA que pour ses employés de l'unité R&D l'année suivante.

Une réaction rapide et nécessaire

Face à cette situation, la direction de Rippling a lancé un projet urgent pour analyser les dépenses et leur rentabilité. Une publicité de lancement de ce nouveau produit montre Swiecicki assis sur un tabouret, tandis que des employés jettent des liasses de billets dans un destructeur de papier, illustrant la nécessité de mieux gérer ces dépenses.

L'analyse a révélé que 10 à 15% des employés étaient responsables de 60% des dépenses totales en IA, avec un ingénieur dépensant jusqu'à 50 000 dollars par mois, selon leur blog.

Réguler sans restreindre

Rippling ne souhaitait pas freiner l'utilisation de l'IA, mais plutôt la réguler de manière significative. L'entreprise a commencé par négocier des plafonds de dépenses avec les outils utilisés, tels que Cursor, OpenAI et Anthropic. Un problème majeur est apparu : les employés utilisaient systématiquement les modèles les plus récents et coûteux pour toutes les tâches.

MacInnis a souligné que les fournisseurs d'inférence, comme Anthropic et OpenAI, n'ont aucun intérêt à aider les entreprises à contrôler leurs dépenses, préférant encourager une consommation excessive. Ils ne fournissent pas d'informations claires sur l'utilisation et ne collaborent pas entre eux.

Une stratégie d'optimisation des modèles

Huit mois après le début de l'année, les entreprises ont compris qu'elles avaient besoin de plusieurs modèles provenant de divers laboratoires d'IA, à différents niveaux de prix, y compris des modèles ouverts de pointe, potentiellement d'origine chinoise.

Parker Conrad, fondateur et PDG de Rippling, a récemment noté que lors de leurs propres benchmarks internes, Grok de SpaceX s'est révélé être le leader incontesté, mais que le modèle GLM 5.2 de Z.ai était 85% moins cher tout en offrant des performances presque identiques. Ce modèle chinois est devenu populaire pour les tâches de codage parmi les entreprises technologiques, soutenu également par Databricks.

Une passerelle IA pour optimiser les requêtes

Les entreprises ont également compris la nécessité d'une passerelle IA qui oriente les requêtes vers le modèle le plus rentable pour chaque tâche. Rippling a donc développé sa propre passerelle IA, intégrée à l'AI Spend Console. MacInnis précise que les entreprises utilisant déjà une autre passerelle peuvent tout de même utiliser l'AI Spend Console, bien que les fonctionnalités de régulation des dépenses nécessitent l'utilisation de la passerelle de Rippling.

Réduction des coûts et amélioration de l'efficacité

Grâce à cet outil, Rippling a réduit ses dépenses en tokens de 40% à environ 15% de son budget de personnel. Cela n'a pas limité l'utilisation de l'IA, puisque l'entreprise a atteint un pic de 605 milliards de tokens le mois où le directeur financier a émis son avertissement. En juillet, l'utilisation interne a de nouveau atteint 600 milliards de tokens, mais le coût des dépenses en tokens de juillet représentait 37% de celui d'avril.

MacInnis a plaisanté en affirmant que désormais, les modèles plus efficaces sont privilégiés, et que l'équipe de vente n'est pas autorisée à utiliser Fable pour des mises à jour grammaticales.

Vers une utilisation plus large de l'IA

Rippling souligne que les solutions technologiques ne suffisent pas. L'entreprise a désigné des "capitaines IA" parmi les utilisateurs les plus efficaces de l'IA pour aider le reste de l'organisation.

Cependant, l'utilisation de l'IA au-delà de l'ingénierie est encore en développement, car les ingénieurs logiciels ont été les principaux utilisateurs jusqu'à présent. Rippling travaille sur l'automatisation de certaines tâches de données pour les équipes d'intégration des clients, et le tableau de bord mesurera la productivité en termes d'intégration de nouveaux clients.

MacInnis insiste sur la nécessité de lier la consommation de tokens dans les fonctions G&A et orientées client à la productivité. Sans cela, l'accès généralisé à ces outils pour tous les employés pourrait être compromis.

Disponibilité et intégration de l'AI Spend Console

L'AI Spend Console est incluse pour les abonnés RH de Rippling, bien que des coûts supplémentaires soient liés à l'utilisation de l'IA. Elle peut également être achetée en tant que produit autonome et intégrée à d'autres systèmes de gestion des ressources humaines, selon MacInnis.