🔧Techniques
Distillation
Knowledge Distillation
Définition
La distillation de connaissances est une technique de compression ou un petit modèle (élevé) apprend à reproduire les comportements d'un grand modèle (professeur). L'élevé est entraîné non pas sur les données brutes mais sur les sorties du professeur, capturant ainsi ses "connaissances" dans un format plus compact. Cela permet de créer des modèles rapides et légers.
Exemple concret
💡 DistilBERT est 60% plus petit et 60% plus rapide que BERT original, tout en conservant 97% de ses performances, grâce à la distillation.
Termes liés
Questions fréquentes
Qu'est-ce que Distillation en intelligence artificielle ?
La distillation de connaissances est une technique de compression ou un petit modèle (élevé) apprend à reproduire les comportements d'un grand modèle (professeur). L'élevé est entraîné non pas sur les données brutes mais sur les sorties du professeur, capturant ainsi ses "connaissances" dans un format plus compact. Cela permet de créer des modèles rapides et légers.
À quoi sert Distillation ?
DistilBERT est 60% plus petit et 60% plus rapide que BERT original, tout en conservant 97% de ses performances, grâce à la distillation.
Quels sont les concepts liés à Distillation ?
Les concepts liés à Distillation incluent : Petit modèle de langage, Quantization, Modèle de fondation, Fine-tuning. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.