🛠️Outils
Benchmark
Benchmark
Partager cette définition
Définition
Un benchmark en IA est un test standardisé pour évaluer et comparer les performances de différents modèles sur des tâches spécifiques. Les benchmarks couvrent le raisonnement, les mathématiques, le code, les connaissances générales et la compréhension. Ils sont essentiels pour mesurer les progrès de l'IA et comparer les modèles objectivement.
Exemple concret
💡 MMLU teste les connaissances generales sur 57 sujets, HumanEval évalué la génération de code, et MATH mesure les capacités mathématiques.
⚡Le brief IA que lisent les pros
Tu apprends le vocabulaire de l’IA ?
Chaque soir, les 7 actus IA du jour expliquées simplement, en 5 min. De quoi voir ces mots à l’œuvre. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Termes liés
Questions fréquentes
Qu'est-ce que Benchmark en intelligence artificielle ?
Un benchmark en IA est un test standardisé pour évaluer et comparer les performances de différents modèles sur des tâches spécifiques. Les benchmarks couvrent le raisonnement, les mathématiques, le code, les connaissances générales et la compréhension. Ils sont essentiels pour mesurer les progrès de l'IA et comparer les modèles objectivement.
À quoi sert Benchmark ?
MMLU teste les connaissances generales sur 57 sujets, HumanEval évalué la génération de code, et MATH mesure les capacités mathématiques.
Quels sont les concepts liés à Benchmark ?
Les concepts liés à Benchmark incluent : MMLU, Grand modèle de langage, Modèle de fondation, Inference. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.