Olmo Hybrid : la révolution des modèles hybrides face aux transformers

Les modèles hybrides : une tendance émergente dans les architectures LLM

Dans le domaine des modèles de langage à poids ouverts, les architectures hybrides gagnent en popularité. Récemment, plusieurs modèles ont été introduits, tels que le Qwen 3.5, préfiguré par le Qwen3-Next, et le Kimi Linear, une version plus compacte du Kimi K2. Nvidia a également dévoilé le Nemotron 3 Nano, avec des versions plus grandes en préparation, tandis qu'IBM a présenté le Granite 4. Ces innovations marquent une adoption généralisée de la recherche sur les architectures hybrides, et l'optimiseur Muon pourrait bientôt suivre cette tendance.

Pour comprendre cette évolution, il faut remonter à décembre 2023, lorsque les modèles Mamba et Striped Hyena ont suscité l'intérêt. Ces modèles ont remis en question la nécessité d'une attention complète dans les modèles de langage. Bien qu'ils aient disparu rapidement en raison de la complexité de leur implémentation et des défis liés aux outils open-source, ils ont ouvert la voie à des réflexions sur les limites des modèles à grande échelle. À l'époque, les modèles hybrides n'étaient pas encore à la hauteur des attentes.

L'innovation des réseaux de neurones récurrents dans les modèles hybrides

Les modèles hybrides se distinguent par l'intégration de modules de réseaux de neurones récurrents (RNN) avec l'attention traditionnelle, qui a rendu célèbre l'architecture transformer. Les couches RNN permettent de compresser une partie du calcul dans un état caché, utilisé pour prédire le prochain token. Cette approche, inspirée des LSTM, réduit le coût de calcul quadratique de l'attention et peut résoudre de nouveaux problèmes.

Les modèles mentionnés, tels que Qwen et Kimi, exploitent le Gated DeltaNet (GDN), tandis que d'autres, comme Granite et Nemotron, utilisent des couches Mamba. Le modèle Olmo Hybrid, récemment lancé, s'appuie sur le GDN, basé sur des expérimentations approfondies. Ce choix repose sur la capacité du GDN à apprendre des caractéristiques que ni l'attention ni les couches Mamba ne peuvent capturer.

Olmo Hybrid : un modèle prometteur et ses avancées théoriques

Le modèle Olmo Hybrid se compose de 7 milliards de paramètres et propose 3 points de contrôle post-entraînement. Le premier est un modèle Instruct, avec un modèle de raisonnement en développement. Ce modèle est un outil précieux pour explorer les modèles hybrides, étant presque identique à l'Olmo 3 7B de l'année précédente, à l'exception de son architecture modifiée.

Un article accompagne le modèle, détaillant pourquoi les modèles hybrides peuvent surpasser les transformers standards. Ce document, bien que complexe, est une ressource précieuse pour comprendre les avantages des modèles hybrides. Il s'agit d'un projet de recherche dirigé par Will Merrill, qui a réalisé un travail remarquable.

L'impact des modèles hybrides sur l'efficacité et l'expressivité

Les recherches théoriques antérieures ont démontré que l'attention et la récurrence possèdent des forces complémentaires. Les combiner permet de créer une architecture qui bénéficie des avantages des deux approches. De nouveaux résultats théoriques montrent que les modèles hybrides sont plus puissants que la somme de leurs parties, capables de résoudre des problèmes que ni les transformers ni le GDN ne peuvent aborder seuls.

Cependant, cette expressivité accrue ne garantit pas automatiquement une meilleure performance des modèles hybrides. Des études rigoureuses ont comparé ces modèles aux transformers, démontrant que l'expressivité des modèles hybrides se traduit par une meilleure efficacité des tokens, en accord avec les observations du préentraînement d'Olmo Hybrid.

Vers une adoption plus large des modèles hybrides

Les résultats suggèrent que les modèles hybrides surpassent les transformers, tant sur le plan théorique qu'empirique. Ils offrent un équilibre entre expressivité et parallélisme, et excellent sur les benchmarks et dans les contextes longs. Ces découvertes pourraient favoriser une adoption plus large des modèles hybrides, incitant la communauté de recherche à approfondir l'exploration de cette architecture.

En résumé, les modèles hybrides se distinguent par leur expressivité, leur capacité à apprendre une variété de fonctions, et leur efficacité en apprentissage profond. Cette flexibilité, comparée à la Bitter Lesson, permet à l'optimiseur de travailler sans contraintes excessives. Les modèles plus expressifs, en suivant des lois de mise à l'échelle optimisées, pourraient bien redéfinir les standards de performance des modèles de langage.