🛠️Outils
Latence
Latency
Partager cette définition
Définition
La latence en IA désigne le temps entre l'envoi d'une requête au modèle et la réception de la réponse. Elle depend de la taille du modèle, du hardware, de la longueur du contexte et de l'optimisation. Une faible latence est cruciale pour les applications temps réel comme les chatbots et la conduite autonome.
Exemple concret
💡 GPT-4 à une latence de 2-5 secondes pour le premier token, tandis que des modèles plus petits comme GPT-4o-mini répondent en moins de 500ms.
⚡Le brief IA que lisent les pros
Tu apprends le vocabulaire de l’IA ?
Chaque soir, les 7 actus IA du jour expliquées simplement, en 5 min. De quoi voir ces mots à l’œuvre. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Termes liés
Questions fréquentes
Qu'est-ce que Latence en intelligence artificielle ?
La latence en IA désigne le temps entre l'envoi d'une requête au modèle et la réception de la réponse. Elle depend de la taille du modèle, du hardware, de la longueur du contexte et de l'optimisation. Une faible latence est cruciale pour les applications temps réel comme les chatbots et la conduite autonome.
À quoi sert Latence ?
GPT-4 à une latence de 2-5 secondes pour le premier token, tandis que des modèles plus petits comme GPT-4o-mini répondent en moins de 500ms.
Quels sont les concepts liés à Latence ?
Les concepts liés à Latence incluent : Inference, API, Edge AI, Quantization. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.