Subquadratic révolutionne les modèles de langage IA

Subquadratic : une startup qui bouscule les codes des modèles de langage

La startup d'intelligence artificielle Subquadratic, basée à Miami, a récemment fait une entrée remarquée sur la scène technologique en sortant de l'ombre avec une annonce ambitieuse. Elle prétend avoir résolu un problème mathématique complexe qui ralentit depuis longtemps les modèles de langage de grande taille, un défi qui persiste depuis près de dix ans.

Bien que les détails initiaux de cette avancée soient restés vagues, Subquadratic a commencé à fournir des preuves à l'appui de ses déclarations. L'entreprise a partagé les résultats d'une évaluation indépendante de sa technologie novatrice, ce qui a suscité un intérêt croissant pour ses affirmations.

Un modèle de langage révolutionnaire

Subquadratic a développé un nouveau type de modèle de langage de grande taille, baptisé SubQ. Selon la startup, ce modèle est non seulement plus rapide et moins coûteux, mais il consomme également beaucoup moins d'énergie que les modèles actuellement disponibles sur le marché. SubQ serait capable de traiter jusqu'à 12 fois plus de texte simultanément par rapport à ses concurrents, ce qui lui permettrait d'exécuter efficacement des tâches nécessitant une analyse intensive de données, comme l'examen de centaines de documents ou de vastes bases de code.

En outre, Subquadratic affirme que SubQ peut rivaliser avec les performances des modèles de pointe proposés par des géants tels que Google DeepMind, OpenAI et Anthropic, notamment dans des tâches clés comme le codage.

Scepticisme et premières preuves

Malgré ces affirmations audacieuses, Subquadratic a initialement fourni peu de preuves tangibles pour les étayer, se contentant de publier quelques scores de tests auto-évalués. De plus, le modèle SubQ n'a pas encore été largement mis à disposition pour que le public puisse le tester.

Ce manque de transparence initial a naturellement conduit à un certain scepticisme. Dan McAteer, un ingénieur en intelligence artificielle, a exprimé ce doute sur X en comparant SubQ à une possible "IA Theranos", une référence à la célèbre entreprise de biotechnologie qui s'est effondrée après des allégations de fraude.

Un mois après son annonce, Subquadratic a publié davantage d'informations sur son modèle, y compris les résultats de tests indépendants menés par la société tierce Appen.

Validation par des tests indépendants

Alex Whedon, cofondateur et directeur technique de Subquadratic, a reconnu qu'un scepticisme sain était à prévoir. Il a admis que publier les benchmarks tiers en même temps que l'annonce initiale aurait pu atténuer une grande partie des doutes. C'est pourquoi l'entreprise s'engage désormais à vérifier minutieusement les résultats futurs avant de les rendre publics.

Subquadratic a sollicité Appen, une entreprise spécialisée dans l'évaluation de modèles d'autres sociétés, pour tester SubQ. Les résultats semblent confirmer bon nombre des affirmations de Subquadratic. Jeanine Sinanan-Singh, directrice de la recherche en IA générative chez Appen, a déclaré que ces résultats validaient l'architecture de SubQ.

Une efficacité prometteuse

SubQ ne remplacera pas tous les modèles existants, mais il pourrait offrir des gains de vitesse significatifs à un coût bien inférieur pour certaines tâches. Subquadratic espère que sa percée amorcera une nouvelle ère d'efficacité dans la construction des modèles de langage de grande taille. Justin Dangel, cofondateur et PDG de l'entreprise, a exprimé l'espoir que dans quelques années, les transformers ne seront plus utilisés.

Pour comprendre l'importance des affirmations de Subquadratic, il est essentiel de se pencher sur le fonctionnement des modèles de langage actuels. Le mécanisme central d'un LLM est un réseau de neurones appelé transformer, qui utilise un processus connu sous le nom d'attention dense. Les LLM modernes enchaînent généralement plusieurs transformers, comme décrit dans le document fondateur de Google en 2017 intitulé "Attention Is All You Need".

Le défi de l'attention dense

L'attention dense fonctionne en attribuant un nombre à chaque mot ou token d'un texte, puis en multipliant ces nombres entre eux pour capturer le sens global du texte. Par exemple, un texte de 10 000 mots nécessiterait près de 50 millions de multiplications individuelles, ce qui explique pourquoi les LLM sont si gourmands en énergie.

À mesure que la longueur du texte augmente, le nombre de calculs explose, car chaque nouveau nombre doit être multiplié par tous les précédents. Doubler le nombre de mots quadruple le nombre de calculs, un phénomène connu sous le nom d'expansion quadratique.

L'innovation de l'attention éparse

La solution de Subquadratic consiste à remplacer l'attention dense par une attention éparse, réduisant ainsi le nombre de calculs nécessaires. Au lieu de multiplier chaque nombre par tous les autres, l'attention éparse sélectionne uniquement certains nombres à multiplier, partant du principe que toutes les relations entre les mots ne sont pas pertinentes.

Alex Whedon explique que l'attention éparse permet de se concentrer sur les relations importantes entre les mots, plutôt que de toutes les considérer. Cette approche n'est pas nouvelle, mais Subquadratic prétend avoir enfin résolu le problème en proposant le premier LLM à attention éparse qui rivalise avec les modèles à attention dense en termes de performance.

Une approche unique

Historiquement, les mécanismes d'attention éparse utilisaient des motifs fixes, comme comparer systématiquement le premier mot au cinquième. Cependant, le langage est trop complexe pour de telles limitations. Subquadratic a développé un mécanisme unique qui sélectionne dynamiquement les mots importants, un processus calculé en temps réel et adapté à chaque texte.

Tests et résultats

SubQ s'est révélé plus rapide et moins coûteux à exécuter que la plupart des autres modèles pour certaines tâches. Appen a évalué SubQ sur plusieurs tests standards, constatant qu'il était 56 fois plus rapide que les modèles utilisant FlashAttention, une technique d'attention éparse antérieure.

Sur LiveCodeBench, un test de performance sur des problèmes de codage compétitifs, SubQ a obtenu un score de 89,7%, se classant parmi les meilleurs modèles de codage.

Les affirmations de Subquadratic concernant le coût sont plus difficiles à vérifier, car SubQ n'est pas encore largement accessible. Selon Justin Dangel, le coût pour exécuter le LLM Opus 4.6 d'Anthropic via RULER 128 s'élève à 2600 dollars, tandis que SubQ ne coûterait que huit dollars.

SubQ semble également capable de gérer des ensembles de données très volumineux, avec une fenêtre de contexte allant jusqu'à 12 millions de tokens. Lors d'une démonstration, SubQ a traité une tâche impliquant 400 documents en quelques secondes, alors que Perplexity, un moteur de recherche alimenté par LLM, n'a pas réussi à charger tous les documents.

Appen a également réalisé le test de la paille dans la botte de foin, où SubQ a obtenu 98% avec des fenêtres de contexte de six millions et douze millions de tokens, montrant une récupération de contexte long presque parfaite.

Un scepticisme persistant

Malgré ces résultats impressionnants, les benchmarks ne fournissent qu'une vue partielle des capacités d'un modèle. Tester dans des conditions spécifiques ne remplace pas l'évaluation d'un modèle sur une large gamme de tâches réelles.

Subquadratic propose SubQ comme un modèle adapté au codage et à la recherche dans de grands ensembles de données. L'entreprise affirme que des milliers d'utilisateurs potentiels se sont inscrits pour un accès anticipé, y compris plus de 500 clients d'entreprise. Cependant, la liste d'attente est longue et peu de personnes ont pu tester le modèle jusqu'à présent.

Un problème persistant est que Subquadratic a réutilisé les poids d'une version du modèle open-source chinois Qwen pour initialiser SubQ, plutôt que de l'entraîner depuis le début. Bien que cette pratique soit courante, elle contredit l'affirmation de Subquadratic selon laquelle elle a entièrement réinventé le fonctionnement des LLM.

Will Depue, un chercheur indépendant en IA, reste prudent quant aux affirmations de Subquadratic. Il reconnaît que l'entreprise pourrait avoir créé quelque chose de réel et d'utile, mais estime que les preuves publiques ne justifient pas encore l'affirmation selon laquelle elle a résolu le goulot d'étranglement de l'attention quadratique.

En attendant, Alex Whedon, cofondateur de Subquadratic, insiste sur le fait que l'innovation était nécessaire pour construire un modèle compétitif. "Nous sommes plus en difficulté que ne l'est OpenAI", affirme-t-il.