🛠️Outils
Latence
Latency
Définition
La latence en IA désigne le temps entre l'envoi d'une requête au modèle et la réception de la réponse. Elle depend de la taille du modèle, du hardware, de la longueur du contexte et de l'optimisation. Une faible latence est cruciale pour les applications temps réel comme les chatbots et la conduite autonome.
Exemple concret
💡 GPT-4 à une latence de 2-5 secondes pour le premier token, tandis que des modèles plus petits comme GPT-4o-mini répondent en moins de 500ms.
Termes liés
Questions fréquentes
Qu'est-ce que Latence en intelligence artificielle ?
La latence en IA désigne le temps entre l'envoi d'une requête au modèle et la réception de la réponse. Elle depend de la taille du modèle, du hardware, de la longueur du contexte et de l'optimisation. Une faible latence est cruciale pour les applications temps réel comme les chatbots et la conduite autonome.
À quoi sert Latence ?
GPT-4 à une latence de 2-5 secondes pour le premier token, tandis que des modèles plus petits comme GPT-4o-mini répondent en moins de 500ms.
Quels sont les concepts liés à Latence ?
Les concepts liés à Latence incluent : Inference, API, Edge AI, Quantization. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.