🛠️Outils
Tokenizer
Tokenizer
Définition
Un tokenizer est l'algorithme qui découpe le texte en tokens avant de les envoyer au modèle. Différents modèles utilisent différents tokenizers (BPE, SentencePiece, WordPiece). Le choix du tokenizer affecte le nombre de tokens consommés et donc le coût et les limites de contexte. Un bon tokenizer gere efficacement plusieurs langues.
Exemple concret
💡 Le tokenizer de GPT-4 (tiktoken) découpe 'bonjour' en un seul token, mais 'anticonstitutionnellement' en 4 tokens.
Termes liés
Questions fréquentes
Qu'est-ce que Tokenizer en intelligence artificielle ?
Un tokenizer est l'algorithme qui découpe le texte en tokens avant de les envoyer au modèle. Différents modèles utilisent différents tokenizers (BPE, SentencePiece, WordPiece). Le choix du tokenizer affecte le nombre de tokens consommés et donc le coût et les limites de contexte. Un bon tokenizer gere efficacement plusieurs langues.
À quoi sert Tokenizer ?
Le tokenizer de GPT-4 (tiktoken) découpe 'bonjour' en un seul token, mais 'anticonstitutionnellement' en 4 tokens.
Quels sont les concepts liés à Tokenizer ?
Les concepts liés à Tokenizer incluent : Token, Grand modèle de langage, Fenêtre de contexte, Embedding. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.