Subquadratic et Manifest AI : innovations pour transformer les LLM

Une révolution initiée par Google

En 2017, un groupe de chercheurs en intelligence artificielle chez Google a publié un document marquant intitulé "Attention Is All You Need". Ce texte décrivait une nouvelle architecture de réseau de neurones, baptisée transformer, qui s'est rapidement imposée comme une avancée majeure pour le traitement des longues séquences de données, notamment textuelles.

Aujourd'hui, neuf ans plus tard, les transformers sont devenus l'épine dorsale de tous les grands modèles de langage (LLM) disponibles sur le marché. Justin Dangel, cofondateur et PDG de la startup d'IA Subquadratic, souligne l'importance de cette technologie en déclarant : "L'industrie de l'IA repose sur les transformers. Ils représentent l'une des innovations les plus significatives de l'histoire de l'informatique, ayant transformé notre monde."

Cependant, malgré leur succès, les transformers commencent à montrer certaines limites. Les récentes avancées dans le domaine des LLM, telles que le développement de modèles de raisonnement et leur capacité à traiter simultanément de grandes quantités de données, ne sont pas de simples améliorations de cette technologie de base. Elles constituent souvent des solutions de contournement visant à pallier certains de ses défauts intrinsèques.

Un nombre croissant de chercheurs et d'ingénieurs se questionne désormais sur l'avenir de ces modèles. Bien que les LLM ne soient pas sur le point de disparaître, leur construction est en pleine mutation. Le MIT Technology Review a même désigné cette prochaine génération de modèles sous le nom de LLMs+ dans sa liste annuelle des dix avancées majeures en IA.

La puissance et les limites des transformers

Pour comprendre le problème, il faut d'abord se pencher sur la force principale des transformers : un mécanisme appelé dense attention. Ce dernier encode le sens d'un texte en une série de nombres, comparant chaque mot (ou token) avec tous les autres mots du texte à travers des multiplications complexes.

La dense attention permet de saisir le sens du texte avec une précision impressionnante. Cependant, plus le texte est long, plus le nombre de calculs nécessaires augmente de manière exponentielle. Par exemple, traiter un document de 10 000 mots pourrait nécessiter 50 millions de multiplications, ce qui explique pourquoi les LLM consomment tant d'énergie.

Les coûts associés sont colossaux. OpenAI prévoit de dépenser 50 milliards de dollars en informatique cette année, selon son président Greg Brockman. Par ailleurs, l'Agence internationale de l'énergie anticipe que la consommation d'électricité des centres de données doublera d'ici 2030.

De plus, les transformers rencontrent des difficultés avec certaines tâches pour lesquelles les modèles récents sont conçus. En raison de leur traitement séquentiel du texte, ils peinent à gérer simultanément de nombreuses informations (leur fenêtre de contexte ne peut pas être trop étendue). Or, pour accomplir des tâches plus complexes, les LLM devront traiter des volumes de données encore plus importants, comme une bibliothèque entière de documents ou l'intégralité d'une base de code.

Les modèles de raisonnement, quant à eux, fonctionnent en rédigeant des notes pour eux-mêmes (dans une sorte de bloc-notes appelé chaîne de pensée) et en les relisant, ce qui accroît encore la quantité de données à gérer.

En conséquence, alors que les LLM deviennent plus performants, les transformers deviennent un obstacle. Leur force initiale est désormais perçue comme une limitation.

01 : Repenser l'attention pour des LLM plus efficaces

Une solution évidente pour rendre les LLM plus rapides et moins coûteux est de modifier la manière dont l'attention est gérée. Remplacer la dense attention par un mécanisme de sparse attention, qui effectue des calculs uniquement sur certaines associations de mots dans un texte, pourrait réduire considérablement les calculs nécessaires.

De nombreux mécanismes de sparse attention ont été proposés au fil des années, mais aucun n'a égalé la dense attention en termes de précision.

Cela pourrait changer avec Subquadratic, une startup basée à Miami, qui prétend avoir développé le premier mécanisme de sparse attention capable de rivaliser avec les meilleurs LLM du marché sur plusieurs tâches, telles que la recherche et la programmation. Bien que cette affirmation suscite du scepticisme, elle est prometteuse.

Le modèle de Subquadratic, SubQ, fonctionne en identifiant en temps réel les mots importants dans un texte. L'entreprise affirme que des milliers de personnes se sont inscrites sur sa liste d'attente et prévoit de rendre le modèle largement accessible prochainement.

En parallèle, Manifest AI, une startup de San Francisco, aborde le problème différemment. Plutôt que de modifier l'attention, elle la remplace par un mécanisme appelé power retention, qui stocke uniquement les informations essentielles pour une tâche spécifique, évitant ainsi une surcharge de données.

Les mécanismes d'attention obligent les LLM à suivre tout ce qui se trouve dans leur fenêtre de contexte. Un modèle de sparse attention, comme SubQ, rejette de nombreux mots individuels mais conserve une vue d'ensemble. En revanche, le power retention fournit un résumé continu de la fenêtre de contexte, supprimant les informations moins pertinentes à mesure que de nouvelles sont ajoutées.

Le principe de la rétention existe depuis une décennie. Manifest AI affirme avoir modernisé ces techniques pour créer des modèles capables de rivaliser avec les LLM basés sur des transformers.

La société affirme qu'il est possible de transformer un modèle de transformer en un modèle de power retention avec un minimum de réentraînement. Pour le démontrer, elle a adapté un LLM de codage open-source, StarCoder, en une version utilisant le power retention, appelée PowerCoder. Elle a également publié un modèle nommé Brumby, qui rivalise, selon elle, avec certaines versions du modèle open-source d'Alibaba, Qwen.

Manifest AI espère que sa technologie de power retention deviendra la solution de référence pour les LLM traitant de grandes quantités de données. Les applications potentielles sont nombreuses, allant de l'analyse de vidéos de plusieurs heures à la création d'agents capables de se concentrer sur une tâche pendant des semaines, comme l'a expliqué le cofondateur et CTO de Manifest AI, Carles Gelada, dans une vidéo de présentation de la technologie.

02 : Réduire la taille et augmenter la flexibilité des modèles

Liquid AI, une startup issue du MIT et basée à Cambridge, Massachusetts, n'a pas complètement abandonné les transformers. Elle les associe à sa propre technologie, les réseaux neuronaux liquides, pour créer ce que le cofondateur et PDG Ramin Hasani appelle des LFMs (liquid foundation models).

Les modèles de Liquid AI sont beaucoup plus petits et consomment moins d'énergie que la plupart des LLM. L'entreprise développe des modèles pour des constructeurs automobiles, tels que Mercedes, qui fonctionnent sur les petites puces intégrées aux véhicules. Ses derniers modèles peuvent même fonctionner sur un Raspberry Pi, un ordinateur à faible consommation coûtant 50 dollars.

Ces modèles sont disponibles gratuitement pour toute organisation dont le chiffre d'affaires annuel est inférieur à 10 millions de dollars. Ils ont rencontré un grand succès, avec près de 34 millions de téléchargements, selon Hasani.

Les réseaux neuronaux liquides s'inspirent des cerveaux de vers et sont une extension des réseaux convolutionnels, un autre type de réseau de neurones antérieur aux transformers. L'innovation clé réside dans un mécanisme permettant à un modèle d'adapter son comportement à de nouvelles informations, lui permettant ainsi d'apprendre en continu. Cela n'est pas possible avec les transformers, dont le comportement est figé une fois le modèle entraîné.

Les premiers modèles de Liquid AI étaient assez rudimentaires mais pouvaient piloter des drones ou conduire des véhicules. Avec les LFMs, l'entreprise vise à élever sa technologie pour rivaliser avec les LLM grand public. Ses nouveaux modèles égalent les performances de concurrents quatre fois plus grands, y compris certaines versions de Qwen d'Alibaba et du LLM open-source Gemma de Google.

Un LLM typique est constitué d'une pile de transformers interconnectés. Les récents LFMs de Liquid AI sont des modèles hybrides composés de 20 % de transformers et de 80 % de réseaux neuronaux liquides.

Ce ratio a été déterminé par un autre système d'IA développé par Liquid AI, utilisé pour concevoir tous ses modèles. "C'est la technologie centrale de notre entreprise actuellement," déclare Hasani. Cette IA designer explore de nombreuses combinaisons de réseaux neuronaux — liquides, convolutionnels, et plus encore, ainsi que des transformers — et propose des conceptions optimales en termes de performance et d'efficacité.

Hasani est convaincu que les transformers ne sont qu'un début : "Votre cerveau est un système d'intelligence artificielle générale, et il fonctionne avec 20 watts de puissance. Comment est-ce possible ? Nous pouvons être beaucoup plus innovants."

03 : Générer du texte en une seule fois

La plupart des LLM produisent leur sortie un mot à la fois, ce qui semble logique car c'est ainsi que les humains parlent et écrivent. Cependant, pour les ordinateurs, cette méthode est très inefficace.

Il est plus rapide et moins coûteux pour les LLM de générer du texte en une seule fois, en produisant des phrases ou des paragraphes entiers d'un coup. C'est l'approche adoptée par Inception, une startup basée à Palo Alto, Californie, qui développe des LLM en utilisant une technique appelée diffusion.

La diffusion est surtout connue comme la technologie derrière la plupart des modèles de génération d'images et de vidéos. Les modèles de diffusion sont entraînés à transformer une grille de pixels aléatoires — semblable au bruit d'un ancien téléviseur — en une image. Ils y parviennent en travaillant sur tous les pixels simultanément, déterminant lesquels doivent être modifiés pour que le bruit ressemble à une photo haute définition.

Il s'avère que ce processus fonctionne également pour le texte. Inception a entraîné ses LLM à transformer une chaîne de mots aléatoires en phrases cohérentes. Les LLM de diffusion utilisent toujours des transformers pour encoder le sens, mais en produisant des blocs de texte entiers à la fois, ils rendent les transformers plus efficaces. "Vous utilisez toujours un grand modèle transformer, mais vous pouvez prédire de nombreux tokens en même temps," explique Stefano Ermon, cofondateur et PDG d'Inception. "C'est pourquoi ces modèles sont beaucoup plus rapides et rentables par rapport à ce que la plupart des autres construisent aujourd'hui."