🧠ModèlesMoE
Mixture of Experts
Mixture of Experts · MoE
Définition
Le Mixture of Experts est une architecture ou le modèle contient plusieurs sous-réseaux spécialisés ("experts") et un mécanisme de routage qui active seulement quelques experts pour chaque requête. Cela permet d'avoir un modèle tres large (beaucoup de paramètres) tout en gardant un cout d'inference faible. Mixtral et GPT-4 utilisent cette architecture.
Exemple concret
💡 Mixtral 8x7B contient 47 milliards de paramètres mais n'en active que 13 milliards par token, offrant la qualité d'un gros modèle au cout d'un petit.
Termes liés
Questions fréquentes
Que veut dire MoE ?
MoE signifie Mixture of Experts (en anglais : Mixture of Experts). Le Mixture of Experts est une architecture ou le modèle contient plusieurs sous-réseaux spécialisés ("experts") et un mécanisme de routage qui active seulement quelques experts pour chaque requête. Cela permet d'avoir un modèle tres large (beaucoup d…
Qu'est-ce que MoE (Mixture of Experts) en intelligence artificielle ?
Le Mixture of Experts est une architecture ou le modèle contient plusieurs sous-réseaux spécialisés ("experts") et un mécanisme de routage qui active seulement quelques experts pour chaque requête. Cela permet d'avoir un modèle tres large (beaucoup de paramètres) tout en gardant un cout d'inference faible. Mixtral et GPT-4 utilisent cette architecture.
À quoi sert MoE ?
Mixtral 8x7B contient 47 milliards de paramètres mais n'en active que 13 milliards par token, offrant la qualité d'un gros modèle au cout d'un petit.
Quels sont les concepts liés à MoE ?
Les concepts liés à Mixture of Experts incluent : Mixtral, Transformer, Inference, Grand modèle de langage. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.