🔧Techniques
Débit (tokens par seconde)
Throughput
Définition
Le débit mesure le nombre de tokens qu'un modèle génère par seconde — autrement dit, sa vitesse de réponse perçue. À ne pas confondre avec la latence (le délai avant le premier mot). Un débit élevé est crucial pour les applications temps réel et pour maîtriser les coûts à grande échelle.
Exemple concret
💡 Un assistant qui « tape » sa réponse mot à mot très vite a un débit élevé ; s'il rame, son débit est faible.
Termes liés
Questions fréquentes
Qu'est-ce que Débit (tokens par seconde) en intelligence artificielle ?
Le débit mesure le nombre de tokens qu'un modèle génère par seconde — autrement dit, sa vitesse de réponse perçue. À ne pas confondre avec la latence (le délai avant le premier mot). Un débit élevé est crucial pour les applications temps réel et pour maîtriser les coûts à grande échelle.
À quoi sert Débit (tokens par seconde) ?
Un assistant qui « tape » sa réponse mot à mot très vite a un débit élevé ; s'il rame, son débit est faible.
Quels sont les concepts liés à Débit (tokens par seconde) ?
Les concepts liés à Débit (tokens par seconde) incluent : Latence, Inference, Token, Quantization. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.