“Meilleure IA française”… vraiment ? Mistral AI est ridiculement bas dans le classement LMArena
Mistral AI est souvent présentée comme la meilleure IA en Europe, or son positionnement dans le classement LMArena raconte une réalité beaucoup moins flatteuse.
Avec Mistral Large 3, la start-up française a rapidement construit une image solide. Le modèle est présenté comme capable de rivaliser avec les grands systèmes internationaux. Dans les discussions du secteur, il symbolise même une réussite européenne face à une industrie dominée par les États-Unis.
Mais, les chiffres du classement LMArena viennent nuancer cette perception. La position réelle du modèle soulève donc des interrogations et relance le débat sur son niveau face aux leaders mondiaux. Mistral Large 3 est-il réellement à la hauteur de son statut affiché ?
Un classement qui relègue Mistral AI derrière les géants américains
Le dernier classement LMArena met en lumière un écart difficile à ignorer dans la course mondiale à l’IA. Sur plus d’une centaine de modèles évalués, les premières places restent largement occupées par les grands acteurs américains et quelques concurrents majeurs du secteur.
On retrouve notamment :
Ces systèmes se partagent le haut du classement avec des scores très proches, mais suffisants pour maintenir leur avance.
Cependant, Mistral AI apparaît beaucoup plus loin. Son modèle Mistral Large 3 ne figure ni dans le top 10, ni dans le top 20. Il se positionne autour de la 74e place, avec un score Elo de 1428.
Cette position surprenante alimente évidemment les discussions dans la communauté tech. En principe, Mistral Large 3 est pourtant présenté comme un modèle avancé, capable de gérer des tâches complexes de raisonnement et d’assistance à la production de contenu. Il est également mis en avant pour ses capacités à structurer des textes, analyser des données et répondre à des prompts exigeants.
Mais comment fonctionne le classement dans LMArena ?
Pour comprendre la position de Mistral AI dans LMArena, il faut d’abord saisir la logique très particulière de ce classement.
Gardez à l’esprit que LMArena est l’un des baromètres les plus suivis pour comparer les IA. Mais son fonctionnement repose sur une logique bien différente des benchmarks techniques traditionnels.
Le principe ? La confrontation directe. Un utilisateur pose une question, puis deux modèles d’IA différents génèrent chacun une réponse. Le détail important, c’est que l’utilisateur ne sait pas quelle IA se cache derrière chaque réponse. Il choisit uniquement celle qu’il préfère, selon la clarté, la pertinence ou la qualité du texte.
Chaque modèle reçoit ensuite un score appelé Elo. Ce système, emprunté aux compétitions d’échecs, ajuste la note après chaque duel. Une victoire contre un modèle mieux classé rapporte beaucoup de points. À l’inverse, une défaite face à un modèle moins bien classé coûte plus cher. Ainsi, les écarts se construisent progressivement, duel après duel.
Vous comprenez maintenant que ce classement de Mistral AI n’a rien d’anodin. La start-up française a du travail devant elle pour se positionner face aux géants américains.
📧
Cet article vous a plu ?
Recevez les 7 meilleures actus IA chaque soir à 19h — résumées en 5 min.