🔧Techniques
Quantization
Quantization
Définition
La quantization est une technique de compression de modèles qui réduit la précision des poids (par exemple de 16 bits à 4 bits) pour diminuer la taille du modèle et accélérér l'inférence. Un modèle quantifié en 4 bits utilise 4x moins de mémoire avec une perte de qualité minimale. C'est essentiel pour déployer de grands modèles sur du materiel limite.
Exemple concret
💡 Avec GGUF et llama.cpp, on peut faire tourner LLaMA 70B quantize en 4 bits sur un MacBook Pro avec 32 Go de RAM.
Termes liés
Questions fréquentes
Qu'est-ce que Quantization en intelligence artificielle ?
La quantization est une technique de compression de modèles qui réduit la précision des poids (par exemple de 16 bits à 4 bits) pour diminuer la taille du modèle et accélérér l'inférence. Un modèle quantifié en 4 bits utilise 4x moins de mémoire avec une perte de qualité minimale. C'est essentiel pour déployer de grands modèles sur du materiel limite.
À quoi sert Quantization ?
Avec GGUF et llama.cpp, on peut faire tourner LLaMA 70B quantize en 4 bits sur un MacBook Pro avec 32 Go de RAM.
Quels sont les concepts liés à Quantization ?
Les concepts liés à Quantization incluent : LoRA, Inference, Edge AI, Petit modèle de langage. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.