Techniques
Débit (tokens par seconde)
Throughput
Partager cette définition
Définition
Le débit mesure le nombre de tokens qu'un modèle génère par seconde — autrement dit, sa vitesse de réponse perçue. À ne pas confondre avec la latence (le délai avant le premier mot). Un débit élevé est crucial pour les applications temps réel et pour maîtriser les coûts à grande échelle.
Exemple concret
Un assistant qui « tape » sa réponse mot à mot très vite a un débit élevé ; s'il rame, son débit est faible.
Le brief IA que lisent les pros
Vous apprenez le vocabulaire de l’IA ?
Chaque soir, les 7 actus IA du jour expliquées simplement, en 5 min. De quoi voir ces mots à l’œuvre. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Termes liés
Questions fréquentes
Qu'est-ce que Débit (tokens par seconde) en intelligence artificielle ?
Le débit mesure le nombre de tokens qu'un modèle génère par seconde — autrement dit, sa vitesse de réponse perçue. À ne pas confondre avec la latence (le délai avant le premier mot). Un débit élevé est crucial pour les applications temps réel et pour maîtriser les coûts à grande échelle.
À quoi sert Débit (tokens par seconde) ?
Un assistant qui « tape » sa réponse mot à mot très vite a un débit élevé ; s'il rame, son débit est faible.
Quels sont les concepts liés à Débit (tokens par seconde) ?
Les concepts liés à Débit (tokens par seconde) incluent : Latence, Inference, Token, Quantization. Retrouvez chaque définition dans le glossaire IA de Brief IA.
Newsletter gratuite
Ne ratez rien de l'actu IA
Recevez chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.