🔧TechniquesLoRA
LoRA
Low-Rank Adaptation · LoRA
Définition
LoRA (Low-Rank Adaptation) est une technique de fine-tuning efficace qui réduit drastiquement la mémoire et le calcul nécessaires. Au lieu de modifier tous les poids du modèle, LoRA ajoute de petites matrices de faible rang aux couches existantes. Cela permet de fine-tuner un modèle de 70 milliards de paramètres sur un seul GPU.
Exemple concret
💡 Avec LoRA, on peut fine-tuner LLaMA 70B sur un seul GPU A100 en quelques heures, là où un fine-tuning classique nécessiterait 8+ GPU pendant des jours.
Termes liés
Questions fréquentes
Que veut dire LoRA ?
LoRA signifie LoRA (en anglais : Low-Rank Adaptation). LoRA (Low-Rank Adaptation) est une technique de fine-tuning efficace qui réduit drastiquement la mémoire et le calcul nécessaires. Au lieu de modifier tous les poids du modèle, LoRA ajoute de petites matrices de faible rang aux couches existantes. Ce…
Qu'est-ce que LoRA (LoRA) en intelligence artificielle ?
LoRA (Low-Rank Adaptation) est une technique de fine-tuning efficace qui réduit drastiquement la mémoire et le calcul nécessaires. Au lieu de modifier tous les poids du modèle, LoRA ajoute de petites matrices de faible rang aux couches existantes. Cela permet de fine-tuner un modèle de 70 milliards de paramètres sur un seul GPU.
À quoi sert LoRA ?
Avec LoRA, on peut fine-tuner LLaMA 70B sur un seul GPU A100 en quelques heures, là où un fine-tuning classique nécessiterait 8+ GPU pendant des jours.
Quels sont les concepts liés à LoRA ?
Les concepts liés à LoRA incluent : Fine-tuning, Quantization, Modèle de fondation, Open source. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.