Techniques
Pré-entraînement
Pre-training
Partager cette définition
Définition
Le pré-entraînement est la première phase, longue et coûteuse, où un modèle apprend des structures générales du langage (ou des images) à partir d'énormes corpus, sans tâche précise. Il en ressort un modèle « de base » généraliste, qui sera ensuite affiné (fine-tuning) pour des usages spécifiques. C'est ce qui produit les foundation models.
Exemple concret
GPT est d'abord pré-entraîné à prédire le mot suivant sur des milliards de textes, avant d'être affiné pour suivre des instructions.
Le brief IA que lisent les pros
Vous apprenez le vocabulaire de l’IA ?
Chaque soir, les 7 actus IA du jour expliquées simplement, en 5 min. De quoi voir ces mots à l’œuvre. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Termes liés
Questions fréquentes
Qu'est-ce que Pré-entraînement en intelligence artificielle ?
Le pré-entraînement est la première phase, longue et coûteuse, où un modèle apprend des structures générales du langage (ou des images) à partir d'énormes corpus, sans tâche précise. Il en ressort un modèle « de base » généraliste, qui sera ensuite affiné (fine-tuning) pour des usages spécifiques. C'est ce qui produit les foundation models.
À quoi sert Pré-entraînement ?
GPT est d'abord pré-entraîné à prédire le mot suivant sur des milliards de textes, avant d'être affiné pour suivre des instructions.
Quels sont les concepts liés à Pré-entraînement ?
Les concepts liés à Pré-entraînement incluent : Modèle de fondation, Fine-tuning, Entraînement, Grand modèle de langage. Retrouvez chaque définition dans le glossaire IA de Brief IA.
Newsletter gratuite
Ne ratez rien de l'actu IA
Recevez chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.