Brief IA : Anthropic mise sur multi-puces et multiplicateurs de calcul

Anthropic mise sur multi-puces et multiplicateurs de calcul

Brief IA
Tom Levy·3 min

Anthropic met en avant une stratégie de calcul fondée sur la découverte de multiplicateurs, qui augmentent le calcul effectif total L'entreprise illustre cette approche par un portage de Claude sur GPU AMD réalisé en trois jours via Mythos, avec une intervention humaine minimale Claude est entraîné et déployé sur AWS Trainium, Google TPUs, NVIDIA GPUs et AMD GPUs, grâce à une stratégie multi-puces engagée de longue date.

En bref
1Anthropic met en avant une stratégie de calcul fondée sur la découverte de multiplicateurs, qui augmentent le calcul effectif total
2L'entreprise illustre cette approche par un portage de Claude sur GPU AMD réalisé en trois jours via Mythos, avec une intervention humaine minimale
3Claude est entraîné et déployé sur AWS Trainium, Google TPUs, NVIDIA GPUs et AMD GPUs, grâce à une stratégie multi-puces engagée de longue date
Pourquoi c'est important : Ces choix techniques sont présentés comme la source d'un avantage difficile à reproduire pour Anthropic, notamment à l'approche de l'amélioration auto-récursive.

Au cours de son roadshow d'introduction en bourse, Anthropic détaille sa manière d'augmenter son « calcul effectif total » et revendique un avantage bâti sur des multiplicateurs de calcul. L'entreprise décrit aussi un portage de Claude sur les GPU AMD réalisé en trois jours avec quasi aucune intervention humaine.

Des multiplicateurs de calcul présentés comme un atout décisif

Anthropic présente son avantage en calcul comme reposant notamment sur le rythme de découverte de multiplicateurs de calcul. L'entreprise explique se concentrer sur un indicateur de « calcul effectif total », défini comme le produit de la capacité physique et des multiplicateurs identifiés. Elle affirme que chaque nouveau multiplicateur accroît ce pool de calcul. Pour illustrer cette approche, elle cite un cas où un modèle nécessitant 100 unités de calcul peut, avec un multiplicateur de 4x, être entraîné avec 25 unités. Autre illustration avancée : mobiliser 100 unités physiques pour entraîner un modèle qui en demandait auparavant 400. Selon Anthropic, ces multiplicateurs s'empilent et confèrent un avantage difficile à reproduire, chaque nouvelle découverte renforçant l'effet des précédentes. La société ajoute que ce processus pourrait s'accélérer à mesure qu'elle approche l'amélioration auto-récursive, estimant que Claude pourra découvrir seul des multiplicateurs, ce qui augmenterait leur nombre de plus en plus rapidement.

Le brief IA que lisent les pros

L’IA qui transforme le business ?

Stratégies, mouvements et levées IA décryptés, chaque soir en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Portage AMD accéléré par Mythos et contribution de Claude

Anthropic indique avoir commencé cette année à travailler pour la première fois avec des GPU AMD. Par le passé, intégrer une nouvelle plateforme de puces nécessitait des mois de travail et mobilisait des dizaines d'ingénieurs. Cette fois, l'entreprise a confié l'essai à un système nommé Mythos. Selon elle, Claude a été mis en route sur AMD en trois jours, avec pratiquement aucune intervention humaine. Anthropic précise que Claude a porté ou écrit presque 100 % des noyaux lors de cette intégration.

Une exécution multi-puces assumée et un précédent sur TPU

Anthropic entraîne et déploie désormais Claude sur AWS Trainium, Google TPUs, NVIDIA GPUs et AMD GPUs. L'entreprise attribue cette capacité à un pari précoce sur une stratégie multi-puces, dans un contexte où, selon elle, beaucoup doutaient de l'intérêt d'opérer des modèles sur des puces différentes. Elle souligne que chaque famille de puces impose sa propre pile logicielle et d'inférence, des couches coûteuses et complexes, et affirme travailler dans ce cadre depuis des années. En septembre, un post-mortem de trois problèmes récents donnait déjà un aperçu de cette approche, en rapportant des bugs qui n'affectaient que ses déploiements TPU. Ces éléments ont été présentés dans la vidéo de son roadshow lancé hier, dans une séquence animée par le co-fondateur Tom Brown.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires