Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Une demande croissante pour les infrastructures IA
L'essor des technologies d'intelligence artificielle a provoqué une augmentation significative de la demande pour des ordinateurs capables de gérer des modèles d'IA complexes. Cependant, deux défis majeurs se posent : l'acquisition des puces adéquates et leur intégration dans des centres de données capables de générer des revenus. General Compute, une entreprise émergente spécialisée dans l'inférence, semble avoir trouvé des solutions prometteuses à ces problématiques. Grâce à ses innovations, General Compute a réussi à lever 15 millions de dollars lors d'un tour de financement initial, atteignant une valorisation post-money de 60 millions de dollars. Ce financement a été mené par FUSE VC, avec la participation de Carya Venture Partners et Village Global Ventures.
La quête des puces idéales
La popularité des GPU a explosé, mais il devient de plus en plus clair qu'ils ne sont pas optimaux pour l'exécution des modèles d'IA une fois ceux-ci entraînés. Les besoins en calcul pour la phase d'inférence, où un modèle génère des réponses, diffèrent de ceux de l'entraînement. De nouvelles puces sont donc en cours de développement pour répondre à ces exigences spécifiques. La transaction de 20 milliards de dollars entre Nvidia et Groq en décembre, ainsi que l'introduction en bourse de Cerebras valorisée à 57 milliards de dollars la semaine dernière, illustrent cette tendance.
Face à la capacité limitée de ces entreprises, les co-fondateurs de General Compute, Finn Puklowski et Jason Goodison, ont exploré d'autres options. Ils se sont tournés vers les puces spécialisées de SambaNova, une entreprise soutenue par Intel, qui se concentre sur l'inférence et qui a été quelque peu éclipsée dans les discussions de la Silicon Valley. Cela pourrait changer avec le lancement imminent des nouvelles puces de SambaNova cette année. Ces puces, dotées d'une architecture flexible et d'une mémoire accrue pour le stockage contextuel, prétendent surpasser non seulement les GPU, mais aussi d'autres puces spécialisées comme celles de Groq ou Cerebras. Puklowski affirme que ces nouvelles puces peuvent générer 600 à 700 tokens par seconde, contre environ 250 tokens par seconde pour les GPU.
General Compute a déjà commandé pour 300 millions de dollars de puces SN50 de SambaNova et prévoit d'être le premier fournisseur de cloud à les déployer.
Optimisation des infrastructures de centres de données
En plus de résoudre le problème des puces, General Compute s'attaque également à la question de leur installation. Les puces de SambaNova, refroidies à l'air et moins énergivores, permettent une intégration dans les infrastructures de centres de données existantes sans nécessiter d'importants investissements en nouvelles infrastructures. Puklowski explore des accords de colocation, qui consistent à installer le matériel de General Compute dans les installations d'autres entreprises. Ces accords incluent non seulement des fournisseurs de centres de données, mais aussi des mineurs de crypto-monnaies cherchant à réutiliser leur infrastructure, car le coût de production d'un bitcoin dépasse souvent son prix de marché.
General Compute a lancé son offre cloud la semaine dernière, affirmant qu'elle est déjà la plus rapide pour exécuter MiniMax 2.7, un modèle de langage open source puissant.
Investissements et perspectives futures
Joe Hasselmann, un investisseur en capital-risque ayant investi dans Groq en 2021, a récemment lancé un nouveau fonds, Evercrest Capital Partners, axé sur l'IA. General Compute figure parmi ses premiers investissements. Hasselmann voit des similitudes entre le partenariat de SambaNova avec General Compute et la relation entre CoreWeave et Nvidia, ainsi que l'association des puces de Groq avec son offre cloud antérieure.
Selon Hasselmann, il est crucial pour SambaNova d'avoir un ensemble diversifié de clients capables de placer leurs puces dans des environnements à forte croissance. « Autant General Compute parie sur SambaNova, autant SambaNova parie sur General Compute », a-t-il déclaré.
Vers une nouvelle architecture pour l'IA
La question centrale reste de savoir quelle architecture informatique dominera l'avenir de l'IA. Les nuages d'inférence représentent un pari sur un monde où de nombreux modèles et agents coexistent, sans qu'un fournisseur unique ne domine le marché. Dans ce contexte, la rapidité et le coût de l'inférence deviennent des facteurs de concurrence clés. La récente levée de 113 millions de dollars par OpenRouter lors de sa série B illustre la capacité de l'entreprise à offrir à ses clients l'accès à plusieurs modèles pour optimiser leurs dépenses en tokens.
La rapidité est essentielle dans ce domaine, tant pour réduire les coûts que pour améliorer les capacités. Puklowski ambitionne de transformer des charges de travail d'une heure en tâches de cinq à dix minutes, et de rendre les agents audio pour le service client, qui nécessitent une inférence rapide pour être efficaces, plus économiques. « Si vous utilisez ChatGPT et qu'il vous fournit 50 tokens par seconde, c'est déjà bien plus rapide que notre capacité de lecture », a-t-il expliqué à TechCrunch. « Maintenant que nous passons à des interactions agent à agent, où les agents lisent pour nous ou interrogent des bases de données, la vitesse devient cruciale. »
