🛠️Outils
Benchmark
Benchmark
Définition
Un benchmark en IA est un test standardisé pour évaluer et comparer les performances de différents modèles sur des tâches spécifiques. Les benchmarks couvrent le raisonnement, les mathématiques, le code, les connaissances générales et la compréhension. Ils sont essentiels pour mesurer les progrès de l'IA et comparer les modèles objectivement.
Exemple concret
💡 MMLU teste les connaissances generales sur 57 sujets, HumanEval évalué la génération de code, et MATH mesure les capacités mathématiques.
Termes liés
Questions fréquentes
Qu'est-ce que Benchmark en intelligence artificielle ?
Un benchmark en IA est un test standardisé pour évaluer et comparer les performances de différents modèles sur des tâches spécifiques. Les benchmarks couvrent le raisonnement, les mathématiques, le code, les connaissances générales et la compréhension. Ils sont essentiels pour mesurer les progrès de l'IA et comparer les modèles objectivement.
À quoi sert Benchmark ?
MMLU teste les connaissances generales sur 57 sujets, HumanEval évalué la génération de code, et MATH mesure les capacités mathématiques.
Quels sont les concepts liés à Benchmark ?
Les concepts liés à Benchmark incluent : MMLU, Grand modèle de langage, Modèle de fondation, Inference. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.