OLIX, FRACTILE, ETCHED : 1,5 milliard pour révolutionner l'IA

OLIX, FRACTILE, ETCHED : 1,5 milliard pour révolutionner l'IA

De gauche à droite : Gavin Uberti, cofondateur et CEO d’ETCHED ; James Dacombe, fondateur d’OLIX ; Walter Goodwin, fondateur et CEO de FRACTILE. Crédits photo : ETCHED / OLIX / FRACTILE. Montage assisté par IA.

Alors que l’entraînement des grands modèles a longtemps concentré les investissements, les modèles de raisonnement déplacent la bataille vers l’inférence. OLIX, FRACTILE et ETCHED ont déjà levé, ensemble, plus de 1,5 milliard de dollars pour accélérer la production de tokens, réduire la facture énergétique et contester l’architecture imposée par NVIDIA. Derrière cette même ambition se cachent cependant trois paris technologiques, trois niveaux de maturité et trois modèles industriels encore très différents.

Un peu plus de deux ans après sa création, OLIX vaut déjà 3,3 milliards de dollars. La startup britannique vient d’annoncer avoir levé 312 millions de dollars auprès de Fundomo, ARM, Hudson River Trading et Reed Hastings, le cofondateur de Netflix. Six mois plus tôt, elle avait déjà obtenu 220 millions de dollars sur une valorisation à peine supérieure au milliard.

OLIX, FRACTILE et ETCHED ont levé ensemble plus de 1,5 milliard de dollars pour accélérer l’inférence, devenue le nouveau centre de gravité économique de l’IA.

Trois paris technologiques s’affrontent :

• la SRAM et la photonique pour OLIX,
• le rapprochement entre mémoire et calcul pour FRACTILE,
• et la spécialisation autour des Transformers pour ETCHED.

Les trois startups présentent des niveaux de maturité industrielle très différents, entre conception, premier silicium et validation de racks.

Leur défi ne consiste pas seulement à battre une puce NVIDIA, mais à proposer un système complet associant matériel, mémoire, réseau, compilateur et refroidissement.

Le véritable test interviendra en 2027 : produire davantage de tokens, plus rapidement et à un coût suffisamment bas pour compenser la complexité de ces nouvelles infrastructures.

La progression est d’autant plus spectaculaire, que la première puce de la société n’est pas encore sortie d’usine. OLIX prévoit d’en finaliser la conception avant la fin de 2026, puis de livrer ses premiers systèmes en 2027. Pour l’heure, ses investisseurs financent donc une équipe, une architecture et un calendrier, un sacré pari.

Pari qui n’est pas un cas isolé, en mai, son compatriote FRACTILE levait 220 millions de dollars auprès d’ACCEL, FACTORIAL FUNDS et FOUNDERS FUND, avec la participation de CONVICTION, FELICIS, 8VC, GIGASCALE, O1A et BUCKLEY VENTURES. Une opération qui doit notamment permettre à l’entreprise, fondée en 2022 par Walter Goodwin, de produire ses premiers processeurs.

Aux États-Unis, ETCHED affirme pour sa part avoir réuni 800 millions de dollars à travers quatre financements et recruté plus de 400 ingénieurs. Son premier silicium A0, fabriqué par TSMC en N4P, serait désormais en phase de validation, et la startup aurait sécurisé plus d’un milliard de dollars de commandes dont elle prévoit les premières livraisons dès cet été.

Toutes se présentent comme des challengers de NVIDIA. Mais derrière cette ambition commune se cachent trois degrés très différents de maturité industrielle. Dans un secteur où une simulation prometteuse, une puce fonctionnelle et un rack réellement exploité en production sont parfois annoncés avec le même enthousiasme, la nuance a d’autant plus son importance.

L’inférence devient le véritable marché de masse

Alors que jusqu’à présent, la compétition dans l’intelligence artificielle s’est concentrée sur l’entraînement. Les annonces des laboratoires et des fabricants de semi-conducteurs étaient rythmées par la taille des modèles, les capacités de calcul mobilisées et le nombre de GPU assemblés dans des clusters toujours plus vastes.

Si cette phase reste décisive, son économie est particulière, l’entraînement représente une dépense considérable, concentrée sur une période donnée. Une fois le modèle construit, chacune de ses utilisations entraîne une nouvelle dépense informatique, c’est ce que l’on appelle l’inférence, autrement dit le moment où le système répond à une question, génère du code, analyse un document ou accomplit une tâche.

Le développement des modèles de raisonnement amplifie cette seconde dépense, car pour produire une réponse complexe, ces systèmes mobilisent davantage de calcul au moment de leur utilisation, du fait qu’ils explorent plusieurs solutions, sollicitent des outils et peuvent vérifier le résultat avant de le restituer. Un travail qui sera accru par les futurs agents, qui prolongeront cette évolution en exécutant des tâches pendant plusieurs minutes, plusieurs heures, voire davantage.

Un modèle peut donc être plus performant que ses concurrents tout en restant économiquement difficile à déployer si chacune de ses réponses est trop lente ou trop coûteuse. La question n’est plus seulement de savoir quel système obtient le meilleur résultat, mais combien d’utilisateurs il peut servir simultanément, à quelle vitesse et avec quelle consommation d’énergie.

La puissance théorique cède ainsi une partie du terrain au coût par token. Les laboratoires travaillent ainsi à réduire la quantité de calcul nécessaire pour obtenir un résultat donné. Distillation, quantification, speculative decoding, compression du KV cache, modèles spécialisés plus petits et routage entre plusieurs architectures peuvent améliorer sensiblement l’efficacité de l’inférence.

Une requête simple peut être confiée à un petit modèle, tandis qu’un modèle frontière n’est activé que pour les demandes complexes. Un raisonnement peut également être interrompu dès que le système estime disposer d’une réponse suffisante. Une même qualité de service peut alors être obtenue avec moins de tokens, moins de mémoire ou une précision numérique réduite.

OLIX, FRACTILE et ETCHED ne parient donc pas uniquement sur l’augmentation des usages, mais sur une progression de la demande de calcul plus rapide que les gains d’efficacité du logiciel. Leur premier concurrent n’est pas toujours une autre puce, et peut aussi être un meilleur algorithme.

Une même réponse mobilise déjà deux moteurs

Pour comprendre les différences entre les trois startups, il faut distinguer les deux grandes phases de l’inférence.

La première, appelée prefill, correspond à la lecture et au traitement initial de la demande. Lorsque l’utilisateur transmet une question, plusieurs centaines de pages ou une base de code, le système doit d’abord analyser l’ensemble de ces informations. Cette opération se prête à une forte parallélisation et mobilise beaucoup de puissance de calcul.

La seconde phase, le decode, correspond à la génération de la réponse. Le modèle produit alors les tokens successivement, chacun dépendant de ceux qui le précèdent. Cette opération est plus séquentielle et particulièrement sensible à la vitesse avec laquelle les paramètres peuvent être récupérés depuis la mémoire.

Un GPU peut prendre en charge les deux phases, mais cette polyvalence n’est pas nécessairement optimale. Un moteur peut être très efficace pour absorber un vaste contexte tout en étant moins performant pour générer rapidement une longue réponse, quand un autre peut produire des tokens à très faible latence tout en étant moins adapté au traitement initial d’un document volumineux.

James Dacombe, le fondateur d’OLIX, défend d’ailleurs cette spécialisation. Il estime que l’époque où une même puce NVIDIA exécutait indifféremment toutes les tâches de l’IA touche à ses limites. Selon lui, la valeur économique de l’inférence justifie désormais la création de siliciums spécifiques à certaines opérations.

La spécialisation introduit néanmoins une difficulté : si le prefill est exécuté par une architecture et le decode par une autre, l’état du modèle doit circuler entre les deux. Cela concerne notamment le KV cache, la mémoire temporaire dans laquelle sont conservées les informations déjà traitées par le modèle. Plus le contexte est long, plus ce cache est volumineux. Son déplacement peut mobiliser une bande passante considérable et recréer, entre deux accélérateurs, le goulot d’étranglement que la spécialisation devait supprimer à l’intérieur de chacun.

Si l’inférence peut donc se fragmenter, cette fragmentation n’est pas gratuite, et le gain obtenu sur la génération des tokens devra rester supérieur au coût de coordination entre les différents moteurs.

OLIX veut accélérer le token suivant avec la lumière

Pour sa part, OLIX a choisi de commencer par le decode. Son premier système, baptisé DX-1 pour Decode Accelerator 1, est conçu pour accélérer la génération des tokens et réunir deux caractéristiques difficiles à concilier : un débit élevé à l’échelle du rack et une faible latence pour chaque utilisateur.

La startup part d’un diagnostic sévère sur les architectures actuelles. Elle part du constat que les GPU s’appuient sur de la mémoire HBM, dont la bande passante permet d’alimenter rapidement les unités de calcul, mémoire qui est particulièrement coûteuse, difficile à produire et dépend de techniques de packaging dont les capacités restent concentrées chez un nombre limité d’acteurs.

OLIX veut sortir de ce cadre en construisant une architecture fondée sur la SRAM, une mémoire très rapide, placée à proximité du processeur, mais également moins dense et plus coûteuse en surface. Pour dépasser cette limite, la société prévoit de distribuer la mémoire et le calcul à l’échelle du rack, puis de relier les différents composants avec une interconnexion photonique.

La lumière doit permettre de faire circuler les données plus rapidement et avec une meilleure efficacité énergétique que certaines liaisons électriques. Son objectif est de redessiner l’ensemble du trajet parcouru par les données, depuis la mémoire jusqu’aux puces, puis entre les composants du rack.

OLIX affirme dans son manifeste qu’une architecture SRAM associée à la photonique peut dépasser les systèmes fondés sur la HBM en débit par mégawatt, en coût total de possession et en efficacité énergétique.