Mistral Small 4 : L'IA qui révolutionne le codage et le raisonnement

Mistral Small 4 : L'IA qui révolutionne le codage et le raisonnement

Quoi de neuf avec Mistral Small 4 ?

Mistral Small 4 se démarque par sa capacité à intégrer trois fonctions essentielles dans un seul modèle. Traditionnellement, il fallait utiliser différents systèmes d'intelligence artificielle pour mener des conversations, réaliser des analyses complexes ou écrire du code. Désormais, Mistral Small 4 permet de gérer ces tâches simultanément et sans effort. Il se positionne comme un assistant polyvalent, capable de discuter, d'analyser et de coder à partir d'un unique point d'accès.

Son architecture innovante, appelée Mixture-of-Experts (MoE), repose sur un réseau de 128 experts. Ce système permet au modèle de sélectionner les quatre experts les plus adaptés pour chaque tâche spécifique, optimisant ainsi son efficacité. Bien que le modèle comporte un total impressionnant de 119 milliards de paramètres, seuls 6 à 6,5 milliards sont activés pour une requête donnée, ce qui accélère le traitement tout en réduisant les coûts.

Les caractéristiques principales incluent :

• Entrée multimodale : Grâce à son module de vision Pixtral, il peut traiter à la fois des images et du texte.
• Longue fenêtre de contexte : Capable de gérer jusqu'à 256 000 tokens d'informations, il est idéal pour l'analyse de documents volumineux.
• Ouvert et accessible : Les poids du modèle sont disponibles sous licence Apache 2.0, permettant une utilisation commerciale. Il est open-source et accessible via des API et des plateformes partenaires.
• Performance optimisée : Mistral réduit de 40 % le temps nécessaire pour accomplir les tâches et traite 3 fois plus de requêtes par seconde que son prédécesseur.

Sous le capot : Architecture et spécifications

Mistral Small 4 combine un décodeur de texte et un encodeur de vision. Lorsqu'une image est fournie, le système de vision Pixtral l'interprète et transmet les informations au modèle de texte, qui génère ensuite une réponse. Cette conception permet une fusion fluide des données visuelles et textuelles.

Les détails architecturaux incluent :

• Pile de décodeurs : Composée de 36 couches de transformateurs, avec une taille cachée de 4096 et 32 têtes d'attention.
• Détails du MoE : 128 experts, dont 4 sont activés par token, avec un composant d'expert partagé pour assurer la cohérence.
• Composant vision : Le modèle de vision Pixtral comprend 24 couches et traite des images avec une taille de patch de 14.
• Vocabulaire : Le tokenizer Tekken dispose d'un vocabulaire étendu de 131 072 tokens, supportant plusieurs langues et instructions complexes.

Bien que le nombre de paramètres actifs soit relativement faible, la taille globale du modèle nécessite une mémoire importante. Le modèle de 119B requiert une grande VRAM ; la version quantifiée à 4 bits consomme environ 60 Go, tandis que la version à 16 bits en utilise près de 240 Go. Cela n'inclut pas la mémoire nécessaire dans le cache KV pour les tâches à long contexte.

Évaluations et benchmarks

Mistral Small 4 ne se contente pas d'une architecture intelligente ; il affiche également des performances chiffrées qui soutiennent ses revendications. Le modèle met l'accent sur la qualité et l'efficacité, offrant des réponses précises avec une faible latence et un coût réduit, grâce à des sorties plus courtes.

Efficacité : Scores élevés avec moins de paroles

Sur divers benchmarks, Mistral Small 4 montre une tendance constante à égaler ou surpasser les modèles de pointe tout en utilisant beaucoup moins de mots.

• Raisonnement mathématique (AIME 2025) : Le modèle obtient un score de 93 en mode raisonnement, équivalent à celui du modèle beaucoup plus grand Qwen3.5 122B. Sa longueur moyenne de sortie en mode instructif est de 3 900 caractères, bien inférieure aux presque 15 000 caractères de GPT-OSS 120B.
• Tâches de codage (LiveCodeBench) : Le modèle atteint un score compétitif de 64, surpassant légèrement GPT-OSS 120B (63). Il produit un code plus de 10 fois plus court (2,1k caractères contre 23,6k caractères), démontrant son efficacité à générer du code correct sans verbiage superflu.
• Raisonnement à long contexte (LCR) : Mistral Small 4 obtient une note élevée de 72, avec une sortie extrêmement courte de seulement 200 caractères en mode instructif. Cette compétence est remarquable pour extraire des réponses dans de vastes volumes de texte.

Un saut générationnel pour Mistral

Les comparaisons avec d'autres modèles montrent que Mistral Small 4 représente une avancée significative par rapport aux versions précédentes. Il établit continuellement de nouveaux standards internes pour les textes et les visions.

• Raisonnement supérieur : Il surpasse les modèles Mistral sur des tests de texte difficiles avec un score de 71,2 sur GPQA Diamond et 78 sur MMLU Pro.
• Capacités visuelles : Le modèle excelle également dans les tâches de vision avec un score de 60 dans MMMU-Pro, surpassant les modèles antérieurs comme Mistral Small 3.2 et Medium 3.1.

Mistral Small 4 se montre très compétitif et, dans certains cas, surpasse même des modèles internes plus grands tels que Magistral Medium 1.2 sur des benchmarks exigeants lorsqu'il utilise son mode de raisonnement avancé. Cela confirme que Mistral Small 4 est à la hauteur de sa promesse d'offrir le meilleur en matière de raisonnement et de compétences en codage dans un format pratique.