🛠️OutilsMMLU
MMLU
Massive Multitask Language Understanding · MMLU
Définition
MMLU est un benchmark de référence qui évalue les connaissances et le raisonnement d'un LLM sur 57 domaines académiques, des mathématiques à l'histoire en passant par le droit et la médecine. Il contient environ 16 000 questions à choix multiples. Le score MMLU est l'un des critères les plus cités pour comparer les LLM.
Exemple concret
💡 GPT-4 à obtenu ~87% au MMLU, tandis que Claude 3.5 Sonnet atteint ~89%, depassant pour la première fois les performances d'un expert humain moyen.
Termes liés
Questions fréquentes
Que veut dire MMLU ?
MMLU signifie MMLU (en anglais : Massive Multitask Language Understanding). MMLU est un benchmark de référence qui évalue les connaissances et le raisonnement d'un LLM sur 57 domaines académiques, des mathématiques à l'histoire en passant par le droit et la médecine. Il contient environ 16 000 questions à choix multiples. Le…
Qu'est-ce que MMLU (MMLU) en intelligence artificielle ?
MMLU est un benchmark de référence qui évalue les connaissances et le raisonnement d'un LLM sur 57 domaines académiques, des mathématiques à l'histoire en passant par le droit et la médecine. Il contient environ 16 000 questions à choix multiples. Le score MMLU est l'un des critères les plus cités pour comparer les LLM.
À quoi sert MMLU ?
GPT-4 à obtenu ~87% au MMLU, tandis que Claude 3.5 Sonnet atteint ~89%, depassant pour la première fois les performances d'un expert humain moyen.
Quels sont les concepts liés à MMLU ?
Les concepts liés à MMLU incluent : Benchmark, Grand modèle de langage, Modèle de fondation. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.