📘Fondamentaux
Token
Token
Partager cette définition
Définition
Un token est l'unité de base que les modèles de langage utilisent pour traiter le texte. Un token peut être un mot, une partie de mot ou un caractère de ponctuation. En français, un mot moyen représente environ 1,5 token. La taille du contexte d'un LLM se mesure en nombre de tokens qu'il peut traiter.
Exemple concret
💡 Le mot 'intelligence' est souvent découpe en 2 tokens ('intelli' + 'gence'). GPT-4 peut traiter jusqu'à 128 000 tokens, soit environ 300 pages de texte.
⚡Le brief IA que lisent les pros
Tu apprends le vocabulaire de l’IA ?
Chaque soir, les 7 actus IA du jour expliquées simplement, en 5 min. De quoi voir ces mots à l’œuvre. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Termes liés
Questions fréquentes
Qu'est-ce que Token en intelligence artificielle ?
Un token est l'unité de base que les modèles de langage utilisent pour traiter le texte. Un token peut être un mot, une partie de mot ou un caractère de ponctuation. En français, un mot moyen représente environ 1,5 token. La taille du contexte d'un LLM se mesure en nombre de tokens qu'il peut traiter.
À quoi sert Token ?
Le mot 'intelligence' est souvent découpe en 2 tokens ('intelli' + 'gence'). GPT-4 peut traiter jusqu'à 128 000 tokens, soit environ 300 pages de texte.
Quels sont les concepts liés à Token ?
Les concepts liés à Token incluent : Tokenizer, Fenêtre de contexte, Grand modèle de langage, Embedding. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.