NVIDIA Magpie TTS : révolutionner la synthèse vocale multilingue

NVIDIA Magpie TTS : une avancée dans la synthèse vocale multilingue

Dans le domaine de l'interaction vocale, chaque milliseconde compte. Lorsqu'un utilisateur interagit avec une application vocale, le temps pris pour capturer l'audio, transcrire la parole, exécuter un modèle de langage de grande taille (LLM), récupérer le contexte et générer une réponse est crucial. La synthèse vocale, ou TTS, est l'étape finale de ce processus, et elle est souvent la plus visible pour l'utilisateur. Si cette étape est lente, l'expérience globale en pâtit.

Avoir la capacité de gérer et d'ajuster chaque étape de ce processus permet de maximiser le budget de latence, c'est-à-dire le temps disponible pour traiter l'ensemble de la chaîne avant que l'utilisateur ne perçoive un ralentissement. Les modèles de parole intégrés offrent une simplicité d'utilisation avec un seul appel API, mais ils limitent la possibilité de personnaliser chaque composant selon les besoins spécifiques du domaine d'application. Une architecture en cascade, avec des composants ASR, TTS et LLM conçus pour fonctionner ensemble, permet de garder chaque couche ajustable et déployable sur une infrastructure propriétaire.

NVIDIA Magpie Multilingual TTS a été conçu pour offrir cette flexibilité. Grâce à ses poids ouverts, son infrastructure prête pour la production et son support pour 12 langues, il permet de déployer des solutions vocales multilingues sur une infrastructure propre, d'optimiser la latence et de personnaliser le modèle selon le domaine d'application.

L'importance croissante du multilinguisme dans l'IA vocale

Les applications vocales modernes ne se limitent plus à une seule langue. Dans des secteurs tels que le support client global, les assistants d'entreprise, la documentation de santé, l'automatisation du commerce de détail et les flux de travail de traduction, la capacité à gérer des conversations naturelles dans plusieurs langues est devenue essentielle, tout en maintenant une faible latence.

Outre le support multilingue, les développeurs ont besoin de capacités supplémentaires telles que le déploiement là où se trouvent leurs données, le respect des exigences de confidentialité des entreprises, la personnalisation de la prononciation et des voix, la prédiction de la latence sous des charges de production et la possibilité d'évoluer sur leur propre infrastructure. Les modèles ouverts transforment ce qui est possible dans chacun de ces domaines.

Un modèle ouvert pour douze langues

Le modèle Magpie TTS Multilingual comprend 364 millions de paramètres et prend en charge une large gamme de langues, notamment l'anglais, l'espagnol, le français, l'allemand, l'italien, le vietnamien, le mandarin, l'hindi, le japonais, ainsi que l'arabe standard moderne, le coréen et le portugais brésilien, récemment ajoutés.

Chaque langue est dotée de voix masculines et féminines, grâce à une représentation de locuteur multilingue partagée. Cette version améliore également la flexibilité multilingue avec un support élargi pour le code-switching en hindi et en japonais, rendu possible par un traitement IPA grapheme-to-phoneme et des dictionnaires de prononciation personnalisés. Cela facilite une prononciation précise des noms, de la terminologie technique et du contenu en langues mélangées.

Plutôt que de maintenir des modèles TTS séparés pour différentes régions, les développeurs peuvent désormais construire des applications multilingues sur une seule base ouverte.

La latence, un facteur crucial pour l'utilisateur

Dans l'IA conversationnelle, la synthèse vocale est la dernière étape avant que l'utilisateur n'entende une réponse. Cela fait du Temps jusqu'au premier audio (TTFA), le délai entre le début de la génération de la parole et le premier audio atteint l'utilisateur, une métrique de latence cruciale.

Avec Magpie TTS, la latence mesurée est celle que vous contrôlez réellement, sans les allers-retours d'un service géré. À 32 ms sur B200, le TTFA de Magpie laisse le reste du budget de latence pour le traitement ASR et LLM, maintenant la latence totale de bout en bout dans la fenêtre sub-200 ms nécessaire pour une conversation naturelle. Sur les GPU NVIDIA, Magpie délivre le premier audio en 32–79 ms sur un seul flux. À 64 flux concurrents, B200 atteint 239 ms TTFA tout en délivrant un débit de 320× temps réel, générant de l'audio plus de 300 fois plus vite qu'il ne se lit, même sous charge concurrente.

Des optimisations pour une génération de discours en temps réel

La faible latence n'est pas le fruit du hasard. Magpie introduit deux améliorations architecturales qui réduisent le temps d'inférence tout en maintenant la qualité de la parole.

• Empilement de trames : Le décodeur prédit deux trames audio à chaque étape de décodage au lieu d'une, réduisant ainsi de moitié le nombre d'itérations du décodeur, ce qui raccourcit le temps de génération et améliore le débit.

• Transformateur local : L'empilement de trames seul pourrait réduire la qualité audio en introduisant des dépendances entre les tokens de codebook générés simultanément. Le transformateur local modélise ces dépendances et affine l'audio généré, récupérant ainsi la qualité que l'empilement de trames sacrifierait autrement.

Ensemble, ces techniques permettent une génération plus rapide et une synthèse vocale naturelle.

L'importance des poids ouverts

La latence que vous pouvez mesurer est précieuse, mais celle que vous pouvez contrôler est encore plus importante. Les poids ouverts offrent aux développeurs des capacités issues de la maîtrise du déploiement. Avec Magpie, vous pouvez :

• Déployer sur une infrastructure que vous contrôlez, y compris dans des environnements privés ou isolés.
• Posséder votre budget de latence, sans round-trip de service géré, et optimiser directement pour votre matériel et votre charge de travail.
• Personnaliser la prononciation et les voix, en les ajustant avec NeMo pour votre propre marque, vocabulaire de domaine ou données de locuteur.
• Évoluer selon vos propres termes, en optimisant la pile de service pour votre infrastructure et votre charge de travail.
• Maintenir le contrôle des entreprises, en gardant les conversations sensibles et les données clients à l'intérieur de votre environnement.

Pour les entreprises développant une IA vocale en production, ce contrôle sur le déploiement, la performance et la personnalisation est souvent crucial.

Vers des agents vocaux complets

L'IA vocale en production est un système de modèles, et non un modèle unique. Magpie TTS fait partie de l'exemple de développement d'agent vocal Nemotron de NVIDIA, une mise en œuvre de référence montrant comment des modèles de parole, de langue et de raisonnement peuvent fonctionner ensemble comme un système coordonné. Cela permet de construire des agents vocaux toujours actifs, pas seulement une parole de meilleure qualité.

Les développeurs peuvent combiner :

• Nemotron Speech pour la reconnaissance vocale en streaming.
• Magpie TTS pour la synthèse vocale multilingue naturelle.
• Modèles de langue et multimodaux Nemotron pour le raisonnement, l'appel d'outils et la compréhension multimodale.
• NVIDIA NIM pour des microservices d'inférence optimisés pour GPU, prêts pour la production.
• NeMo pour la personnalisation et l'ajustement.

L'exemple de développement d'agent vocal Nemotron fournit une mise en œuvre de référence de bout en bout que les développeurs peuvent cloner, personnaliser et déployer en quelques heures. Il inclut des modèles de production pour :

• Conversations en temps réel interrompables (barge-in).
• Agents vocaux multimodaux avec compréhension visuelle.
• Orchestration multi-agents et appel d'outils.
• Interactions vocales multilingues.
• Latence de bout en bout inférieure à une seconde utilisant NVIDIA NIM.

Plutôt que d'assembler des composants individuels à partir de zéro, les développeurs peuvent partir d'une architecture de référence complète et l'adapter à leurs propres applications.