🔧Techniques
Pré-entraînement
Pre-training
Définition
Le pré-entraînement est la première phase, longue et coûteuse, où un modèle apprend des structures générales du langage (ou des images) à partir d'énormes corpus, sans tâche précise. Il en ressort un modèle « de base » généraliste, qui sera ensuite affiné (fine-tuning) pour des usages spécifiques. C'est ce qui produit les foundation models.
Exemple concret
💡 GPT est d'abord pré-entraîné à prédire le mot suivant sur des milliards de textes, avant d'être affiné pour suivre des instructions.
Termes liés
Questions fréquentes
Qu'est-ce que Pré-entraînement en intelligence artificielle ?
Le pré-entraînement est la première phase, longue et coûteuse, où un modèle apprend des structures générales du langage (ou des images) à partir d'énormes corpus, sans tâche précise. Il en ressort un modèle « de base » généraliste, qui sera ensuite affiné (fine-tuning) pour des usages spécifiques. C'est ce qui produit les foundation models.
À quoi sert Pré-entraînement ?
GPT est d'abord pré-entraîné à prédire le mot suivant sur des milliards de textes, avant d'être affiné pour suivre des instructions.
Quels sont les concepts liés à Pré-entraînement ?
Les concepts liés à Pré-entraînement incluent : Modèle de fondation, Fine-tuning, Entraînement, Grand modèle de langage. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.