Nemotron 3 Nano 4B : IA locale compacte et performante

Le Nemotron 3 Nano 4B représente une avancée significative dans le domaine des modèles de langage légers, en combinant efficacité et précision grâce à son architecture hybride Mamba-Transformer. Ce modèle est conçu pour fonctionner sur toutes les plateformes compatibles avec les GPU NVIDIA, offrant un suivi d'instructions de pointe et une utilisation optimisée des outils, tout en minimisant l'encombrement en VRAM.

Avec seulement 4 milliards de paramètres, le Nemotron 3 Nano 4B est suffisamment compact pour fonctionner en périphérie sur des plateformes telles que NVIDIA Jetson (Jetson Thor/Jetson Orin Nano) ainsi que sur les GPU NVIDIA DGX Spark et NVIDIA RTX. Cette compacité permet des temps de réponse plus rapides, une meilleure confidentialité des données et un déploiement flexible, tout en maintenant les coûts d'inférence bas.

Le Nemotron 3 Nano 4B est notre premier modèle spécifiquement optimisé pour le déploiement sur appareil, conçu pour alimenter des agents conversationnels locaux et des personas à travers les cas d'utilisation des clients GeForce RTX, Jetson et Spark. Il atteint une précision et une efficacité à la pointe de la technologie dans plusieurs dimensions clés pour une utilisation en production en périphérie.

Performances et benchmarks

Le modèle excelle dans plusieurs benchmarks, notamment le suivi d'instructions (IFBench, IFEval) et l'agilité en intelligence de jeu (Orak), tout en maintenant un faible encombrement VRAM. Il offre également une latence réduite, ce qui le rend idéal pour une utilisation en périphérie. Les benchmarks d'efficacité ont été mesurés sur un RTX 4070 utilisant Llama.cpp avec des versions quantifiées Q4_K_M des deux modèles.

En plus de ses performances d'utilisation d'outils, le Nemotron 3 Nano 4B est très compétitif en matière d'évitement des hallucinations. Ces capacités démontrent la forte adéquation du modèle pour les cas d'utilisation en périphérie.

Compression et distillation

Le Nemotron 3 Nano 4B a été élagué et distillé à partir du Nemotron Nano 9B v2 en utilisant le cadre Nemotron Elastic, lui permettant d'hériter des fortes capacités de raisonnement en tant que modèle de raisonnement hybride. Plutôt que d'entraîner un modèle de 4B à partir de zéro, Nemotron Elastic utilise un élagage structuré guidé par un routeur, qui est entraîné conjointement avec le modèle en utilisant une perte auxiliaire abordant la taille du modèle étudiant plus la perte de distillation de connaissances d'origine.

Nemotron Elastic introduit un routeur entraîné de bout en bout qui effectue une recherche d'architecture neuronale sur plusieurs axes de compression, ainsi qu'un passage de distillation de connaissances. Pour le Nano 4B, le cadre a été utilisé dans une configuration à budget unique — ciblant uniquement le nombre de paramètres de 4B — où le rôle du routeur est de déterminer quels axes élaguer et de combien pour atteindre le budget cible.

Le routeur a convergé sur les décisions d'élagage suivantes : pour le Nemotron Nano 9B v2, il y avait 56 couches (27 Mamba, 4 attention, 25 MLP), tandis que pour le Nemotron 3 Nano 4B, il y a 42 couches (21 Mamba, 4 Attention, 17 MLP).

Distillation en deux étapes

Après que le routeur ait déterminé l'architecture élaguée, le modèle compressé est réentraîné en utilisant la distillation de connaissances à partir du parent 9B gelé en utilisant les données de pré-entraînement et de post-entraînement de Nano v2. Ce processus de récupération de précision se déroule en deux étapes :

• Étape 1 — Distillation à court contexte (longueur de séquence de 8K) : Le modèle de 4B est entraîné sur 63B tokens en utilisant une fenêtre de contexte de 8K avec un mélange de données composé d'environ 70 % de données de post-entraînement et de 30 % de données de pré-entraînement de la recette parentale Nano v2. Cette étape est essentielle pour la récupération initiale de la précision du modèle après compression.

• Étape 2 — Extension à long contexte (longueur de séquence de 49K) : Pour restaurer les performances sur des tâches plus difficiles nécessitant des chaînes de raisonnement prolongées, le contexte est étendu à 49K tokens. Dans cette étape, le modèle est entraîné sur 150B tokens.

Affinage supervisé et apprentissage par renforcement

Nous avons mené deux étapes d'affinage supervisé (SFT) avec des sous-ensembles pertinents de la collection Nemotron-Post-Training-v3 en utilisant Megatron-LM. La première étape de SFT entraîne le modèle sur un mélange de données de raisonnement et de non-raisonnement couvrant divers domaines tels que les mathématiques, la programmation, la science, le chat, le suivi d'instructions et les tâches agentiques. La deuxième étape est un entraînement à plus petite échelle, ciblé pour renforcer les comportements de sécurité.

Une fois que le modèle est amorcé avec SFT, nous passons à un pipeline d'apprentissage par renforcement en trois étapes utilisant NeMo-RL pour cibler nos domaines d'intérêt, le suivi d'instructions et le comportement d'appel d'outils / agentique. Dans la première étape, nous utilisons des données de suivi d'instructions à tour unique. Dans la deuxième étape, nous utilisons des environnements NeMo-Gym pour le suivi d'instructions à tour unique et multi-tour ainsi que pour des sorties structurées (JSON, XML). Enfin, dans la troisième étape, nous utilisons une version préliminaire de Nemotron-RL-Agentic-Conversational-Tool-Use-Pivot-v1 pour l'appel d'outils conversationnels multi-tour. Un ratio équilibré de 50-50 de données de raisonnement et de non-raisonnement a été utilisé tout au long des trois étapes RLVR, avec une pénalité KL progressivement augmentée à chaque étape.

Amélioration de l'efficacité avec la quantification

Pour les appareils en périphérie, il est essentiel de réduire davantage la taille du modèle par la quantification pour améliorer l'efficacité et réduire l'utilisation de VRAM. Le Nemotron 3 Nano 4B est publié en FP8 et Q4_K_M GGUF pour être efficace sur l'appareil en périphérie.

Pour préserver la précision tout en améliorant l'efficacité, une stratégie de quantification sélective a été appliquée plutôt que de quantifier l'ensemble du réseau. La comparaison d'un ensemble de configurations de quantification a montré que le maintien des couches d'auto-attention (4 sur 42 couches) et des 4 couches Mamba qui précèdent les couches d'auto-attention en BF16 offrait un équilibre optimal pour la récupération de précision et le compromis d'amélioration de l'efficacité. Les poids du modèle, les activations et le KV-Cache sont quantifiés en FP8. Les Conv1D dans toutes les couches Mamba sont conservées en BF16. Le modèle FP8 a atteint 100 % de récupération de précision médiane par rapport aux benchmarks cibles comparé au modèle BF16. La version quantifiée FP8 offre jusqu'à 1,8X d'amélioration de latence et de débit par rapport à la version BF16 d'origine sur DGX Spark et Jetson Thor.

Pour le support de Llama.cpp, nous utilisons la méthode de quantification GGUF largement adoptée Q4_K_M, un schéma de 4 bits qui offre un excellent équilibre entre efficacité et précision. La version GGUF Q4_K_M a atteint 100 % de récupération de précision médiane par rapport aux benchmarks cibles comparé au modèle BF16.

Cette version GGUF est également bien adaptée pour les déploiements Jetson. Sur le Jetson Orin Nano 8GB conçu pour les petits appareils embarqués, le point de contrôle Q4_K_M fonctionnant avec Llama.cpp délivre 18 tokens/s, jusqu'à 2× plus de débit que le Nemotron Nano 9B v2, soulignant l'efficacité du Nemotron 3 Nano 4B pour l'inférence en périphérie dans les cas d'utilisation d'IA embarquée et de robotique.

Le Nemotron 3 Nano 4B est disponible sur une variété de moteurs d'inférence, y compris Transformers, vLLM, TRT-LLM, et Llama.cpp, permettant un support pour un large éventail de scénarios de déploiement en périphérie. Pour commencer, visitez les dépôts Hugging Face ci-dessous pour télécharger les points de contrôle du modèle. Des exemples d'utilisation pour Hugging Face Transformers, vLLM, TRT-LLM et Llama.cpp sont disponibles dans la carte du modèle.