La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Introduction à NeMo Automodel
NVIDIA NeMo Automodel se présente comme une bibliothèque open-source innovante, conçue pour optimiser l'entraînement de modèles de diffusion d'images et de vidéos. Intégrée à PyTorch DTensor, cette solution fait partie intégrante du cadre NeMo de NVIDIA. Elle s'appuie sur deux principes fondamentaux pour s'intégrer harmonieusement dans l'écosystème des Diffusers.
Tout d'abord, NeMo Automodel est conçu pour être entièrement compatible avec Hugging Face. Cela signifie qu'il suffit de spécifier un modèle Diffusers préentraîné pour commencer l'entraînement. Les classes de modèles Diffusers, telles que WanTransformer3DModel, sont utilisées pour le chargement, tandis que les pipelines Diffusers, comme WanPipeline, facilitent la génération. Cette intégration permet une transition fluide des points de contrôle dans l'écosystème Diffusers.
Ensuite, l'échelle de l'entraînement est hautement adaptable. Les utilisateurs peuvent ajuster les recettes et les scripts d'entraînement pour répondre à différentes échelles, sans nécessiter de réécriture de code. Le parallélisme devient ainsi une simple configuration, permettant de passer aisément entre FSDP2, le parallélisme tensoriel, contextuel et de pipeline.
Modèles de diffusion pris en charge
NeMo Automodel propose des recettes prêtes à l'emploi pour affiner divers modèles de diffusion. Parmi ceux-ci, on trouve des modèles tels que Wan 2.1 T2V avec des versions 1.3B et 14B, ainsi que Wan 2.2 T2V A14B. D'autres modèles incluent les versions de développement de FLUX par black-forest-labs, ainsi que HunyuanVideo 1.5, optimisé pour une résolution de 720p.
Ces modèles sont accessibles via des identifiants spécifiques sur le Hub, facilitant leur utilisation pour des tâches de fine-tuning.
Avantages de la collaboration
L'intégration de NeMo Automodel avec Diffusers offre plusieurs avantages pratiques. L'un des plus notables est l'élimination de la nécessité de convertir les points de contrôle. Les poids préentraînés peuvent être utilisés directement, sans besoin de conversion préalable. Cela simplifie considérablement le processus d'inférence et de partage sur le Hub.
De plus, l'ajout de nouveaux modèles de diffusion dans Diffusers est facilité. Il suffit d'ajouter un gestionnaire de prétraitement des données et un adaptateur de modèle, sans nécessiter de script d'entraînement complet. Cette approche réduit le temps et les efforts nécessaires pour intégrer de nouveaux modèles.
Le fine-tuning est également optimisé pour être à la fois complet et efficace. Les utilisateurs peuvent choisir entre un fine-tuning complet sur un grand cluster pour une qualité maximale, ou un style PEFT de type LoRA sur un seul nœud pour une efficacité maximale.
Workflow de fine-tuning
Le processus de fine-tuning avec NeMo Automodel suit un workflow structuré. L'installation recommandée se fait via le conteneur Docker NeMo Automodel, qui inclut PyTorch et TransformerEngine, optimisés pour CUDA. Alternativement, une installation via pip ou depuis la source est possible.
Le workflow typique commence par le pré-encodage du jeu de données. Les latents VAE mis en cache et les embeddings de texte sont utilisés, évitant ainsi l'encodage des images sources à chaque étape d'entraînement.
Ensuite, l'entraînement est lancé en utilisant un fichier YAML existant, tel que flux_t2i_flow.yaml. Ce fichier configure automatiquement le modèle FLUX.1-dev pour un fine-tuning complet, avec des paramètres optimisés pour une taille de lot efficace et un parallélisme FSDP2.
Enfin, la génération à partir du point de contrôle affiné est réalisée en utilisant un YAML de génération existant, en pointant vers le point de contrôle d'entraînement complet.
Les résultats obtenus démontrent que les prompts d'astronautes déclenchés conservent leur contenu tout en adoptant un style visuel unique, tandis que les astronautes non déclenchés restent fidèles à leur apparence photographique. Cela montre que l'effet appris est principalement lié au déclencheur utilisé.
