🔧TechniquesLoRA
LoRA
Low-Rank Adaptation · LoRA
Partager cette définition
Définition
LoRA (Low-Rank Adaptation) est une technique de fine-tuning efficace qui réduit drastiquement la mémoire et le calcul nécessaires. Au lieu de modifier tous les poids du modèle, LoRA ajoute de petites matrices de faible rang aux couches existantes. Cela permet de fine-tuner un modèle de 70 milliards de paramètres sur un seul GPU.
Exemple concret
💡 Avec LoRA, on peut fine-tuner LLaMA 70B sur un seul GPU A100 en quelques heures, là où un fine-tuning classique nécessiterait 8+ GPU pendant des jours.
⚡Le brief IA que lisent les pros
Tu apprends le vocabulaire de l’IA ?
Chaque soir, les 7 actus IA du jour expliquées simplement, en 5 min. De quoi voir ces mots à l’œuvre. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Termes liés
Questions fréquentes
Que veut dire LoRA ?
LoRA signifie LoRA (en anglais : Low-Rank Adaptation). LoRA (Low-Rank Adaptation) est une technique de fine-tuning efficace qui réduit drastiquement la mémoire et le calcul nécessaires. Au lieu de modifier tous les poids du modèle, LoRA ajoute de petites matrices de faible rang aux couches existantes. Ce…
Qu'est-ce que LoRA (LoRA) en intelligence artificielle ?
LoRA (Low-Rank Adaptation) est une technique de fine-tuning efficace qui réduit drastiquement la mémoire et le calcul nécessaires. Au lieu de modifier tous les poids du modèle, LoRA ajoute de petites matrices de faible rang aux couches existantes. Cela permet de fine-tuner un modèle de 70 milliards de paramètres sur un seul GPU.
À quoi sert LoRA ?
Avec LoRA, on peut fine-tuner LLaMA 70B sur un seul GPU A100 en quelques heures, là où un fine-tuning classique nécessiterait 8+ GPU pendant des jours.
Quels sont les concepts liés à LoRA ?
Les concepts liés à LoRA incluent : Fine-tuning, Quantization, Modèle de fondation, Open source. Retrouvez chaque définition dans le glossaire IA de Brief IA.
📬 Newsletter gratuite
Ne rate rien de l'actu IA
Reçois chaque soir les 7 meilleures actus IA, décryptées en 5 min. Gratuit.