NVIDIA Nemotron 3 Embed : Leader de la récupération agentique

L'importance cruciale de la récupération dans les systèmes agentiques

Dans les systèmes agentiques, la récupération d'informations est une étape cruciale qui peut déterminer la réussite ou l'échec d'un processus. Une récupération inefficace peut entraîner des erreurs de contexte, des requêtes redondantes et un gaspillage de ressources, ce qui complique les étapes ultérieures de raisonnement. Pour pallier ces défis, NVIDIA a introduit le Nemotron 3 Embed, une série de modèles d'embedding conçus pour optimiser la récupération d'informations.

Présentation de Nemotron 3 Embed

Le Nemotron 3 Embed est une collection de modèles ouverts et disponibles commercialement, qui se distinguent par leur capacité à améliorer la qualité de récupération des systèmes agentiques. Ces modèles sont conçus pour offrir aux développeurs des options flexibles pour déployer des systèmes de récupération à grande échelle, notamment pour la récupération de code et la gestion de la mémoire d'agent.

La collection se compose de trois modèles principaux, chacun ayant ses propres caractéristiques et avantages. Le modèle phare, Nemotron-3-Embed-8B-BF16, est un modèle de 8 milliards de paramètres qui se classe au premier rang du classement RTEB. Il est accompagné de deux variantes de 1 milliard de paramètres, conçues pour être déployées à grande échelle tout en maintenant une efficacité élevée.

• Nemotron-3-Embed-8B-BF16 : Ce modèle est reconnu pour sa haute précision et est idéal pour les applications d'entreprise où la récupération d'informations est critique.
• Nemotron-3-Embed-1B-BF16 : Ce modèle est optimisé pour la production, offrant un équilibre entre coût et latence.
• Nemotron-3-Embed-1B-NVFP4 : Optimisé pour les infrastructures à haut débit, ce modèle utilise une technologie d'accélération matérielle pour réduire l'empreinte mémoire.

Fonctionnalités avancées pour les entreprises

Au-delà de ses performances sur RTEB, Nemotron 3 Embed propose des fonctionnalités prêtes pour la production, adaptées aux besoins des entreprises. Ces fonctionnalités incluent des poids et ensembles de données ouverts, permettant aux équipes de personnaliser et de déployer les modèles sur leur propre infrastructure. La fenêtre de contexte de 32k est une autre caractéristique notable, permettant la récupération sur de longs documents et de grands contextes de code, tout en minimisant la troncature.

Les modèles prennent également en charge la récupération multilingue et de code, s'adaptant ainsi aux besoins des entreprises mondiales. L'efficacité du déploiement est renforcée par l'utilisation de la technologie NVIDIA NVFP4, qui permet une récupération à haut débit avec une empreinte mémoire réduite.

Évaluation des performances : qualité et efficacité

L'évaluation des modèles Nemotron 3 Embed repose sur trois axes principaux : la qualité de récupération, l'efficacité agentique et les compromis de déploiement. Le modèle de 8 milliards de paramètres établit un nouveau standard de qualité, tandis que les variantes de 1 milliard de paramètres offrent des solutions à coût réduit et à haut débit.

Domination sur RTEB et autres benchmarks

Lors des tests sur RTEB, le Nemotron-3-Embed-8B-BF16 a atteint un score impressionnant de 78,5%, se classant premier. Les modèles ont également été testés sur d'autres benchmarks tels que ViDoRe V3 Text et MMTEB Retrieval, où ils ont démontré des performances exceptionnelles, avec un score de 75,5% sur MMTEB Retrieval.

Le modèle Nemotron-3-Embed-1B-BF16 a réussi à conserver une grande partie de la qualité de récupération du modèle de 8 milliards, obtenant un score de 72,4% sur RTEB, ce qui représente une réduction du taux d'erreur de 27% par rapport à son prédécesseur de 1 milliard (llama-nemotron-embed-vl-1b-v2). Sur MMTEB Retrieval, il a atteint un score de 71,0%, réduisant le taux d'erreur de 28%.

Importance de la récupération améliorée pour les agents

Une meilleure récupération d'informations est essentielle pour les agents, car elle permet de fournir des preuves pertinentes plus rapidement, évitant ainsi des recherches répétées et des cycles de raisonnement inutiles. En utilisant un agent de recherche alimenté par Nemotron 3 Ultra, les tests ont montré que l'amélioration de la récupération réduit les coûts en jetons agentiques et améliore l'efficacité globale.

Optimisation pour les déploiements à haut débit

Pour les déploiements nécessitant un haut débit, le Nemotron-3-Embed-1B-NVFP4 offre une solution idéale. Grâce à l'accélération native NVFP4 sur les architectures NVIDIA Blackwell, ce modèle parvient à combiner efficacité de service et qualité de récupération.

Performances optimisées dès le premier jour

Pour garantir des performances optimales à l'échelle de production, NVIDIA a lancé un microservice NIM optimisé pour le modèle de 1 milliard de paramètres. Ce service assure une efficacité constante sous des charges de requêtes réelles, quelle que soit la longueur des séquences d'entrée.

Conception des modèles Nemotron 3 Embed

Le modèle Nemotron-3-Embed-8B-BF16 est basé sur le backbone Ministral-3-8B-Instruct-2512, modifié pour devenir un encodeur bidirectionnel. Entraîné avec un pré-entraînement contrastif, il utilise des paires de textes provenant de diverses sources pour affiner ses capacités de récupération.

Réduction et optimisation à 1 milliard

Le modèle de 1 milliard de paramètres n'est pas simplement une version réduite. Il a été développé en compressant un modèle de 3 milliards de paramètres à travers des techniques avancées de pruning et de distillation, garantissant ainsi une précision de récupération élevée malgré sa taille réduite.

Le tableau ci-dessous résume les spécifications techniques et les cibles de déploiement des modèles Nemotron 3 Embed :

• Nemotron-3-Embed-8B-BF16 : Optimisé pour l'inférence GPU générale.
• Nemotron-3-Embed-1B-BF16 : Conçu pour une faible latence sur CPU/GPU.
• Nemotron-3-Embed-1B-NVFP4 : Adapté aux infrastructures NVIDIA Blackwell/GB200.