Grok Voice Think Fast 1.0 : L'IA vocale en temps réel réinventée

Qu'est-ce que Grok Voice Think Fast 1.0 ?

Le modèle Grok Voice Think Fast 1.0 de xAI introduit une avancée majeure dans le domaine des agents IA vocaux. Contrairement aux systèmes traditionnels qui traitent la parole de manière séquentielle, ce modèle intègre reconnaissance, raisonnement et réponse en une seule boucle continue. Cela permet une communication en duplex intégral, où les tâches de réception et de production audio se déroulent simultanément, offrant ainsi une expérience utilisateur plus fluide et naturelle.

La plupart des systèmes d'IA vocale actuels fonctionnent en plusieurs étapes : la parole est convertie en texte, qui est ensuite traité par un modèle linguistique, avant que la réponse ne soit reconvertie en parole. Ce processus séquentiel peut entraîner des délais perceptibles, rendant la conversation moins naturelle. En revanche, Grok Voice Think Fast 1.0 effectue ces tâches en parallèle, permettant ainsi une véritable communication en temps réel. xAI appelle cela un raisonnement en arrière-plan, où le modèle peut traiter des requêtes complexes tout en produisant de l'audio de manière continue.

Par exemple, comme démontré par xAI, lorsque vous demandez à des modèles concurrents "Quels sont les noms des mois qui s'écrivent avec un 'X' ?", ils donnent souvent la réponse confiante et incorrecte de "février". En revanche, Grok Voice Think Fast 1.0 déterminera d'abord le cas particulier et répondra correctement qu'il n'y a pas de mois s'écrivant avec un 'X'. Cette précision est cruciale pour les grandes entreprises, où des erreurs peuvent compromettre des contrats importants. En effet, l'activité beaucoup plus dangereuse et fréquente de donner des réponses incorrectes et confiantes par les modèles concurrents détruit finalement des contrats.

Caractéristiques clés de Grok Voice Think Fast 1.0

Les caractéristiques clés de Grok Voice Think Fast 1.0 sont :

• Raisonnement instantané : Les processus de pensée en arrière-plan se produisent en même temps que le temps de réponse ne change pas ou ne ralentit pas.
• Prévention exceptionnelle du bruit : Le modèle a été entraîné avec des données téléphoniques réelles ; par conséquent, même en cas de bruit de fond, de variations d'accent, d'interruptions de conversation ou d'autres problèmes d'appel, il fonctionne de manière exceptionnelle.
• Capture de données structurées : Nous pouvons extraire et formater tous les éléments (y compris les adresses e-mail, les numéros de téléphone) d'un appel avec précision, même s'ils ont été modifiés par la parole.
• Utilisation d'outils à fort volume : Des appels parallèles à plusieurs outils sont possibles avec notre solution sans affecter la performance globale.
• Fonctionnalités multilingues : Le modèle est capable de gérer plus de 25 langues différentes et changera de langue si nécessaire de manière transparente au cours du même appel.
• Développé entièrement en interne : xAI a développé l'ensemble du produit (depuis le début) y compris les composants suivants : Détection d'Activité Vocale (DASP), Tokenizer, Modèle Audio.

Tarification : Quel est le coût réel ?

xAI a maintenu une tarification agressive :

• Agent vocal (grok-voice-think-fast-1.0)
  • Conversations en direct, appels d'outils
  • Speech to Text : Batch - Transcription préenregistrée, plus de 25 langues
  • Speech to Text : Streaming - Transcription en temps réel via WebSocket
  • 5 voix, 20 langues

Pour donner un aperçu : un appel de support de 10 minutes coûte 0,50 $ en connexion. Ajoutez 20 appels d'outils : 0,10 $ de plus. Total : 0,60 $ pour une interaction complète. L'API Realtime d'OpenAI coûte environ 0,10 $/min. xAI revendique environ la moitié du coût. Le point de terminaison de l'API est également compatible avec la spécification Realtime d'OpenAI, donc la migration ne nécessite pas une réécriture complète.

Démarrer avec l'interface de l'agent vocal xAI

Vous n'avez pas besoin de savoir comment écrire un programme pour concevoir votre premier agent vocal en utilisant l'interface à console.x.ai/playground/voice/agent. La console vous offre deux chemins pour construire l'agent :

• Sélectionnez parmi les différents modèles d'agents préconstruits tels que Bureau médical, Hôte de restaurant, Service d'assistance, Agent immobilier, Prise de rendez-vous ou Concierge d'hôtel, ou cliquez sur le bouton + Créer un agent personnalisé.

• Vous pouvez personnaliser l'agent dans la description fournie dans la zone de texte. Cette description servira de prompt système.

• Cliquez sur Démarrer pour initier une session vocale en direct.

• Utilisez le microphone de votre ordinateur pour parler à votre agent lors de la session vocale en direct.

• Vous pouvez modifier la description de votre agent, redémarrer et tester à nouveau votre agent.

En arrière-plan, la console s'occupe automatiquement de la détection d'activité vocale, du streaming audio et de la sélection du modèle. La console a un modèle vocal par défaut de grok-voice-think-fast-1.0. De plus, cinq options de voix différentes sont disponibles : Ara, Eve, Leo, Rex et Sal. Des outils tels qu'une recherche web peuvent être activés depuis l'interface sans nécessiter de clé API ou de code standard. Vous devez simplement fournir une description de votre agent vocal et lui parler.

Tâche 1 : Bot de vente pour un cours d'IA agentique

Nous allons développer un agent vocal de vente qui présentera le programme Agentic AI Pioneer à des clients potentiels. Le système doit identifier les clients potentiels qu'il doit ensuite convaincre de devenir des clients payants à travers son processus de vente.

Étape 1 : Ouvrir la console et sélectionner Créer personnalisé

Accédez à console.x.ai/playground/voice/agent. Les modèles préconstruits doivent être ignorés. Cliquez sur + Créer personnalisé, cela vous donne une toile vierge pour définir exactement comment votre agent de vente se comporte.

Étape 2 : Écrire la description de l'agent

C'est l'étape la plus importante. La zone de description est votre prompt système. Collez le texte suivant dans la zone de texte :

Vous êtes un conseiller de vente amical pour le programme Agentic AI Pioneer par Analytics Vidhya. Votre objectif : qualifier les prospects et les guider vers l'inscription. Détails du cours :

• Curriculum pratique en IA agentique avec des projets réels
• Mentorat en direct par des praticiens de l'IA
• Taille de cohorte limitée pour une attention personnalisée
• Inscription : https://www.analyticsvidhya.com/agenticaipioneer/

Flux de conversation :

1. Accueillez chaleureusement. Demandez ce qu'ils font et leur niveau d'expérience en IA.
2. Écoutez les points de douleur - croissance de carrière, lacunes de compétences, curiosité.
3. Faites correspondre leurs besoins aux avantages spécifiques du cours. Soyez précis.
4. Gérez les objections avec empathie. Ne soyez jamais insistant.
5. Demandez le nom et l'e-mail pour envoyer les détails du cours.
6. S'ils sont prêts, dirigez-les vers le lien d'inscription.
7. Terminez par une clôture chaleureuse, sans pression.

Ton : Ami utile qui croit en le programme. Pas un télévendeur.

Cette invite donne à l'agent un objectif défini, un script clair pour le flux de conversation, et une manière humaine d'interagir.

Étape 3 : Appuyer sur le bouton Démarrer pour commencer les tests

Appuyez sur le bouton de démarrage et donnez à l'agent la permission d'utiliser le microphone, puis parlez naturellement avec l'agent comme si vous étiez un prospect.

Voici quelques exemples des types de questions que l'agent pourrait rencontrer :

• Le novice curieux : "J'entends tellement parler des agents IA mais je n'ai aucune expérience en IA, ce cours peut-il m'aider ?"

• Le sceptique : "J'ai déjà suivi des cours en ligne où il n'y avait que de l'enseignement sans application réelle. En quoi cela est-il différent ?"

• L'acheteur potentiel soucieux de son budget : "Bien que cela m'intéresse ; je ne suis pas sûr de pouvoir investir de l'argent dans cette nouvelle industrie."

• L'acheteur imminent : "Je travaille actuellement en tant qu'ingénieur de données et je veux créer des agents IA dans mon travail. Comment puis-je m'inscrire ?"

En essayant les différentes personnalités, vous devriez voir si l'agent pose des questions de suivi pour recueillir des informations supplémentaires ou s'il gère les objections. Si quelque chose ne semble pas correct, modifiez le texte et passez à nouveau par le processus d'itération. Cela prend moins de 30 secondes pour itérer (boucle).

Tâche 2 : Agent vocal de conseil de carrière

Maintenant pour quelque chose de complètement nouveau, créez un agent vocal personnalisé pour fonctionner comme un conseiller de carrière technologique afin d'aider les personnes qui sont soit des étudiants choisissant leur carrière, soit des professionnels prenant des décisions de carrière significatives.

Étape 1 : Recommencer avec l'option Créer personnalisé

Retournez à la console et cliquez à nouveau sur le bouton + Créer personnalisé pour la nouvelle version de notre agent vocal. Ce sera une personnalité d'agent complètement différente.

Étape 2 : Écrire la description du conseiller de carrière

À titre d'exemple, le conseil de carrière a une énergie différente de celle de la vente. Un agent agissant en tant que conseiller de carrière doit démontrer comment écouter davantage, poser des questions plus profondes et fournir des retours honnêtes aux individus par rapport à la vente de produits ou de services. Placez cette déclaration :

Vous êtes un conseiller de carrière technologique expérimenté aidant les professionnels à naviguer dans les transitions en ingénierie logicielle, science des données, IA/ML, et plus encore. Votre objectif est d'écouter les préoccupations des individus, de poser des questions pertinentes et de fournir des conseils réfléchis pour les aider à prendre des décisions éclairées sur leur parcours professionnel.

Flux de conversation :

1. Accueillez chaleureusement et demandez des détails sur leur parcours actuel.
2. Écoutez attentivement leurs objectifs de carrière et les défis qu'ils rencontrent.
3. Offrez des suggestions personnalisées basées sur leurs compétences et intérêts.
4. Fournissez des informations sur les tendances actuelles du marché et les opportunités de croissance.
5. Encouragez-les à explorer de nouvelles voies et à envisager des formations supplémentaires si nécessaire.
6. Terminez la conversation en leur offrant des ressources supplémentaires ou des contacts utiles.

Ton : Conseiller bienveillant et informé, prêt à guider avec empathie et expertise.

En testant cet agent, vous pouvez ajuster le script pour mieux répondre aux besoins des utilisateurs et affiner les conseils fournis. Cela permet de créer une interaction plus personnalisée et utile pour chaque individu.