Baidu met à disposition ERNIE-5.5-Flash-Base, un modèle de base open-source dont les poids sont accessibles en FP8 et BF16 sur Hugging Face. Selon l’entreprise, il se situe au même niveau que d’autres modèles de taille équivalente en matière de raisonnement, de génération de code et de gestion de longs contextes. Ce modèle, structuré en mélange d’experts et totalisant 280 milliards de paramètres, avec 14 milliards utilisés à chaque requête, a bénéficié d’un pré-entraînement sur 33,5 trillions de tokens. Une version post-entraînée est annoncée, et le modèle est conçu pour atteindre jusqu’à un million de tokens de contexte lors de l’ajustement fin et de l’inférence.
Poids disponibles et performances revendiquées par Baidu
Les poids d’ERNIE-5.5-Flash-Base sont publiés sur Hugging Face en deux formats, FP8 et BF16. Les évaluations ont été réalisées avec une même pipeline et mises en regard de DeepSeek-V4-Flash-Base, Hy3-preview-Base et MiMo-V2.5-Base. Les catégories testées couvrent Exam, STEM, Raisonnement, Connaissances, Code, Multilingue et Long contexte. Baidu indique que le modèle se situe au niveau de concurrents open-source de taille comparable sur les tâches de raisonnement, de code et de long contexte.
Vous codez avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Architecture mélange d’experts et volumes d’entraînement
Le modèle adopte une architecture de mélange d’experts et totalise 280 milliards de paramètres, avec 14 milliards activés par entrée. Son pré-entraînement a porté sur 33,5 trillions de tokens. Le contexte d’apprentissage a atteint 128 000 tokens.
Un socle ouvert sans ajustement, avec une version post-entraînée prévue
Distribué en open-source, ERNIE-5.5-Flash-Base est fourni sans ajustement fin ni post-formation, ce qui laisse aux développeurs le soin de déterminer son orientation. Le modèle est conçu pour supporter jusqu’à un million de tokens de contexte lors de l’ajustement fin et de l’inférence. Baidu prévoit en outre une version post-entraînée.
