Amazon réduit sa dépendance à Anthropic pour alléger les coûts d'Alexa

Amazon cherche à réduire les coûts d'Alexa en se détachant d'Anthropic

Dans un effort pour diminuer les dépenses liées à l'intelligence artificielle de son assistant vocal Alexa+, Amazon s'efforce de réduire sa dépendance aux modèles Claude d'Anthropic. L'entreprise explore également des moyens d'optimiser l'utilisation des GPU afin de rendre l'exploitation d'Alexa+ plus économique. Les projections internes d'Amazon indiquent que les coûts liés au cloud AWS pour Alexa+ pourraient presque tripler cette année.

Amazon a entrepris de restructurer Alexa pour diminuer sa dépendance aux modèles d'Anthropic, dans le cadre d'une stratégie globale visant à réduire les coûts de fonctionnement de son assistant vocal basé sur l'IA. Selon des documents internes examinés par Business Insider, ces changements ont été mis en œuvre depuis la fin de l'année dernière jusqu'au début de cette année. L'objectif est de diriger davantage de requêtes vers les modèles d'IA internes d'Amazon, réduisant ainsi les appels inutiles aux modèles Claude d'Anthropic et maximisant l'efficacité de chaque GPU.

Ces initiatives devraient permettre de multiplier par quatre le nombre de transactions clients que chaque unité de capacité informatique peut supporter. Cela illustre le nouveau champ de bataille de l'IA, où la compétition se déplace de la création d'une IA plus intelligente vers la réduction des coûts d'exploitation. Des entreprises comme Google, avec son IA à moindre coût Gemini Flash, et OpenAI, avec des techniques de routage automatique vers des modèles moins coûteux, suivent cette tendance.

Les défis financiers d'Amazon avec Alexa+

Les prévisions financières d'Amazon mettent en lumière les raisons pour lesquelles l'entreprise consacre tant d'efforts à ce défi. Les projections internes de début d'année ont révélé que les coûts du cloud AWS pour Alexa+ amélioré et alimenté par l'IA pourraient atteindre environ 1,7 milliard de dollars en 2026, soit presque le triple de l'année précédente. Alexa+ devait également fonctionner environ 60 % au-dessus de l'objectif d'Amazon pour le coût du cloud AWS par utilisateur actif mensuel. Malgré l'identification d'environ 450 millions de dollars d'économies potentielles, les examens internes ont conclu que l'entreprise ne parviendrait pas à atteindre ses objectifs financiers. Amazon a refusé de commenter ces projections.

Un nouvel Alexa plus coûteux à exploiter

Contrairement aux versions précédentes, Alexa+ génère de nombreuses réponses en utilisant de grands modèles de langage fonctionnant sur des services cloud gourmands en GPU. Cela a transformé des demandes vocales relativement peu coûteuses en charges de travail d'IA bien plus onéreuses à traiter. Ces coûts ont pris de l'ampleur alors qu'Amazon traversait un lancement difficile. Business Insider a précédemment rapporté que l'entreprise avait retardé plusieurs fois Alexa+ en raison de problèmes d'hallucinations de l'IA et de questions sur la préparation du service pour les clients. Alexa+ a élargi sa disponibilité aux États-Unis plus tôt cette année.

L'expansion du service a accru la pression financière, soulignant la différence entre l'IA générative et les services logiciels plus traditionnels. À mesure qu'Alexa+ était déployé auprès de plus d'utilisateurs, Amazon projetait une augmentation nette des dépenses liées au cloud AWS alors que la demande pour la capacité de calcul IA augmentait. L'entreprise a même envisagé de retarder certaines de ses initiatives IA les plus coûteuses. Business Insider a précédemment rapporté que le Projet Moonraker, l'effort d'Amazon pour doter Alexa de capacités d'agent IA plus avancées, devait devenir la plus grande dépense IA du service cette année, et l'entreprise a considéré retarder certaines parties du projet pour réaliser des économies.

Réduction des appels inutiles aux modèles Claude

Une des priorités pour Amazon était de réduire l'utilisation des modèles Claude d'Anthropic au sein d'Alexa+. Les feuilles de route internes prévoyaient de déplacer des "Experts" Alexa spécialisés de Claude Sonnet vers les propres modèles d'IA d'Amazon tout en réduisant l'utilisation d'autres modèles Claude dans le service d'assistant numérique. Amazon cherchait également à éviter l'inférence chaque fois que cela était possible. L'inférence est la manière dont les modèles d'IA sont exécutés, et une façon de limiter le coût de cela est d'utiliser la mise en cache, qui stocke les réponses aux demandes courantes afin que l'IA n'ait pas à refaire le même travail.

Une feuille de route d'Amazon prévoyait qu'Alexa+ cesse d'appeler les modèles Claude lorsque des réponses appropriées étaient déjà disponibles en cache, et d'élargir le traitement "déterministe", qui permet à Alexa de répondre à des demandes plus prévisibles sans recourir à un grand modèle de langage. La stratégie est notable compte tenu des liens étroits d'Amazon avec Anthropic. Amazon a investi des milliards dans la startup d'IA, collabore étroitement avec elle et pourrait en tirer un bénéfice significatif si l'introduction en bourse d'Anthropic se concrétise.

Cependant, les documents internes examinés par Business Insider montrent qu'Amazon cherche des moyens de réduire la fréquence à laquelle Alexa s'appuie sur les modèles d'Anthropic. L'approche d'Amazon reflète une tendance croissante dans l'industrie de l'IA. La société d'investissement William Blair a écrit dans un rapport récent que les entreprises de logiciels commencent à réserver les modèles de pointe pour des raisonnements difficiles et à haut risque, tout en dirigeant les demandes moins complexes vers des modèles moins coûteux. Cela réduit les coûts d'inférence sans changer l'expérience client. "Le routage multi-modèles devient une architecture standard dans les logiciels", ont écrit les analystes de William Blair dans le rapport.

Optimisation de l'utilisation des GPU

La réduction des coûts des modèles n'était qu'une partie de la stratégie. Amazon s'est également concentré sur l'augmentation de la quantité de travail que chaque GPU pouvait effectuer. Plutôt que d'ajouter simplement plus de GPU Nvidia, Amazon souhaitait traiter davantage de demandes clients à partir du même matériel informatique. Une feuille de route projetait que des mises à jour logicielles augmenteraient la capacité de calcul disponible d'environ 50 % tout en réduisant les temps de réponse d'environ 40 %. Des tableaux de planification internes suivaient la croissance projetée des clients, l'utilisation des GPU, la capacité disponible et l'efficacité de l'inférence alors qu'Amazon se préparait à étendre Alexa+.

Les efforts d'économies d'Amazon s'étendaient au-delà des logiciels. Les documents de planification montrent que l'entreprise évaluait à la fois les GPU Nvidia et ses propres puces Trainium pour réduire encore le coût de fonctionnement d'Alexa+. Plus largement, les documents montrent qu'Amazon considère les modèles d'IA de pointe et la capacité GPU comme des ressources coûteuses à déployer de manière sélective plutôt que par défaut. Cette philosophie fait écho à un point que le PDG Andy Jassy a exprimé publiquement. Dans sa lettre aux actionnaires de l'année dernière, Jassy a soutenu qu'il y avait une "urgence" à rendre l'inférence IA considérablement moins coûteuse.

"Réduire le coût par unité en IA permettra d'utiliser l'IA aussi largement que les clients le désirent, et conduira également à des dépenses globales en IA plus élevées", a écrit Jassy.