Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Visite exclusive du laboratoire Trainium d'Amazon
Peu après l'annonce par Andy Jassy, PDG d'Amazon, d'un investissement colossal de 50 milliards de dollars d'AWS avec OpenAI, Amazon a ouvert les portes de son laboratoire de développement de puces pour une visite privée. Ce laboratoire est au cœur de cet accord ambitieux, financé principalement par Amazon lui-même.
Les experts de l'industrie surveillent de près la puce Trainium d'Amazon, développée dans ce laboratoire, pour ses implications potentielles sur l'inférence IA à moindre coût. Cette puce pourrait également contribuer à réduire le quasi-monopole de Nvidia sur le marché.
Mes guides pour cette visite étaient Kristopher King, directeur du laboratoire, Mark Carroll, directeur de l'ingénierie, et Doron Aronson, responsable des relations publiques de l'équipe, qui a organisé cette visite.
AWS a été la plateforme cloud principale pour Anthropic depuis le début du laboratoire d'IA, une relation qui a perduré malgré l'ajout de Microsoft comme partenaire cloud et la collaboration croissante d'Amazon avec OpenAI.
L'accord avec OpenAI positionne AWS comme le fournisseur exclusif du nouvel agent builder d'OpenAI, Frontier. Ce projet pourrait devenir une composante majeure des activités d'OpenAI si les agents atteignent l'ampleur que la Silicon Valley anticipe. Cependant, le Financial Times a rapporté que Microsoft pourrait considérer que cet accord avec Amazon enfreint son propre accord avec OpenAI, qui stipule que Microsoft a accès à tous les modèles et technologies d'OpenAI.
Pourquoi AWS attire OpenAI ?
Dans le cadre de cet accord, Amazon s'est engagé à fournir à OpenAI 2 gigawatts de capacité de calcul Trainium. Cet engagement est d'autant plus impressionnant qu'Anthropic et le service Bedrock d'Amazon consomment déjà les puces Trainium à un rythme supérieur à la capacité de production d'Amazon.
Actuellement, 1,4 million de puces Trainium sont déployées à travers trois générations, et le modèle Claude d'Anthropic fonctionne sur plus d'un million de puces Trainium2, selon l'entreprise.
Bien que Trainium ait été initialement conçu pour accélérer et réduire le coût de l'entraînement des modèles, il est désormais optimisé pour l'inférence. L'inférence, qui est le processus par lequel un modèle IA génère des réponses, est actuellement le principal goulot d'étranglement en termes de performance dans l'industrie.
Trainium contre Nvidia
En plus d'offrir une alternative aux GPU de Nvidia, souvent en rupture de stock et difficiles à acquérir, Amazon affirme que ses nouvelles puces, fonctionnant sur les Trn3 UltraServers, coûtent jusqu'à 50 % moins cher à faire fonctionner pour des performances comparables par rapport à l'utilisation de serveurs cloud classiques.
Avec le lancement du Trainium3 en décembre, l'équipe d'AWS a également développé de nouveaux commutateurs Neuron. Mark Carroll affirme que cette combinaison est transformative.
Les commutateurs permettent à chaque puce Trainium3 de communiquer avec toutes les autres puces dans une configuration en maillage, réduisant ainsi la latence. "C'est pourquoi Trainium3 bat tous les records", notamment en termes de "prix par puissance", a-t-il déclaré.
Ambitions d'Amazon au-delà des puces
Les ambitions d'Amazon ne se limitent pas aux puces elles-mêmes. L'entreprise conçoit également le serveur qui héberge ces puces. En plus des composants réseau, cette équipe a conçu Nitro, une combinaison matériel-logiciel qui fournit une technologie de virtualisation, permettant à de nombreuses instances de logiciels de fonctionner séparément sur le même serveur. Ils ont également développé une nouvelle technologie de refroidissement liquide à la pointe et les châssis de serveur qui hébergent cet équipement.
Tout cela vise à contrôler les coûts et à améliorer les performances.
Le laboratoire de puces d'AWS à Austin
L'unité de conception de puces personnalisées d'Amazon a vu le jour lorsque le géant du cloud a acquis le concepteur de puces israélien Annapurna Labs en janvier 2015 pour environ 350 millions de dollars. Cette équipe dispose maintenant de plus de 10 ans d'expérience dans la conception de puces pour AWS.
Le laboratoire est situé dans un bâtiment moderne à fenêtres chromées dans le quartier huppé de The Domain à Austin, une zone piétonne remplie de boutiques et de restaurants, parfois appelée le Silicon Valley d'Austin.
Le laboratoire, d'une superficie équivalente à deux grandes salles de conférence, est un espace industriel bruyant en raison des ventilateurs sur les équipements. Il ressemble à un mélange entre un cours de technologie au lycée et un décor de Hollywood pour un laboratoire haut de gamme, sauf que les ingénieurs sont habillés en jeans, et non en blouses blanches.
La magie du "bring-up"
Le "bring-up" est le moment où la puce est activée pour la première fois afin de vérifier qu'elle fonctionne comme prévu. L'équipe a même filmé une partie du bring-up du Trainium3 et l'a postée sur YouTube.
Pour le Trainium3, la puce prototype était à l'origine refroidie par air, comme les versions précédentes. La puce actuelle est maintenant refroidie par liquide, ce qui offre des avantages énergétiques et a été un véritable exploit d'ingénierie.
Le laboratoire contient également des outils sur mesure et commerciaux pour tester et analyser les problèmes liés aux puces.
Les "sleds" sont les plateaux qui abritent les puces IA Trainium, les puces CPU Graviton, ainsi que les cartes et composants de support. En les empilant sur un rack avec le composant réseau, également conçu sur mesure par cette équipe, vous obtenez les systèmes qui sont au cœur de Claude d'Anthropic.
