📘Fondamentaux
Token
Token
Définition
Un token est l'unité de base que les modèles de langage utilisent pour traiter le texte. Un token peut être un mot, une partie de mot ou un caractère de ponctuation. En français, un mot moyen représente environ 1,5 token. La taille du contexte d'un LLM se mesure en nombre de tokens qu'il peut traiter.
Exemple concret
💡 Le mot 'intelligence' est souvent découpe en 2 tokens ('intelli' + 'gence'). GPT-4 peut traiter jusqu'à 128 000 tokens, soit environ 300 pages de texte.
Termes liés
Questions fréquentes
Qu'est-ce que Token en intelligence artificielle ?
Un token est l'unité de base que les modèles de langage utilisent pour traiter le texte. Un token peut être un mot, une partie de mot ou un caractère de ponctuation. En français, un mot moyen représente environ 1,5 token. La taille du contexte d'un LLM se mesure en nombre de tokens qu'il peut traiter.
À quoi sert Token ?
Le mot 'intelligence' est souvent découpe en 2 tokens ('intelli' + 'gence'). GPT-4 peut traiter jusqu'à 128 000 tokens, soit environ 300 pages de texte.
Quels sont les concepts liés à Token ?
Les concepts liés à Token incluent : Tokenizer, Fenêtre de contexte, Grand modèle de langage, Embedding. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.