Real World VoiceEQ : l'IA vocale face au défi de l'humanité

La voix, nouvelle interface de l'IA

Les évaluations actuelles des performances de l'intelligence artificielle vocale la placent souvent à un niveau proche de celui des humains. Toutefois, lorsqu'on examine les interactions réelles, une autre réalité se dessine. La voix est en train de devenir l'interface privilégiée pour interagir avec l'IA. Que ce soit dans le domaine du support client, de la santé, de l'éducation, du divertissement ou des assistants personnels, la parole remplace progressivement le texte comme moyen principal de communication.

Les progrès réalisés ces dernières années dans les modèles vocaux sont indéniables. Les taux d'erreur de mots ont considérablement diminué, la latence a atteint des niveaux permettant des conversations fluides, et de nombreux benchmarks semblent désormais saturés. Pourtant, pour ceux qui utilisent régulièrement l'IA vocale, il est évident qu'il manque encore quelque chose.

Les modèles vocaux actuels peuvent donner l'impression de changer de personnalité au cours d'une conversation, manquer de pauses ou d'hésitations naturelles, et avoir du mal à gérer les accents, le bruit de fond ou les émotions dans la voix. Ces aspects sont souvent négligés dans les benchmarks qui se concentrent sur la latence et le taux d'erreur de mots. Les utilisateurs recherchent des systèmes capables d'écouter réellement, de répondre de manière appropriée et de maintenir une interaction naturelle et fiable.

Vers un benchmark plus complet

Pour évaluer ces qualités essentielles, le benchmark Real World VoiceEQ a été créé. Il vise à mesurer la qualité humaine des interactions vocales. Ce benchmark évalue la capacité des systèmes vocaux à reconnaître, produire et répondre aux informations acoustiques que les simples transcriptions ne peuvent capturer, telles que le ton, l'émotion, l'identité du locuteur et le contexte environnant.

Real World VoiceEQ analyse plus de 40 modèles vocaux, qu'ils soient propriétaires ou open-source, à travers plus de 15 dimensions d'évaluation clés et plus de 60 métriques. Ces évaluations couvrent des domaines tels que la Reconnaissance Automatique de la Parole (ASR), la Synthèse Vocale (TTS), la Parole-à-Parole (S2S) et la Compréhension de la Parole.

Le développement de Real World VoiceEQ s'appuie sur plus de 1 million d'évaluations humaines individuelles, recueillies auprès de diverses démographies, styles de parole et environnements acoustiques. Le benchmark actuel comprend 785 000 évaluations TTS et 48 000 évaluations STS, ce qui en fait l'une des plus vastes évaluations humaines de l'IA vocale à ce jour.

Chaque évaluation a été réalisée grâce à Kairos, une plateforme d'évaluation flexible et spécifiquement conçue pour la voix. Cette infrastructure permet aux laboratoires d'IA et aux entreprises de mener des évaluations personnalisées, adaptées à des cas d'utilisation spécifiques, d'identifier des défaillances précises dans les systèmes vocaux en production, de générer des données de préférence humaine et d'améliorer continuellement les modèles grâce à l'apprentissage par renforcement et aux retours des utilisateurs.

Les résultats révélateurs de Real World VoiceEQ

• Spécialisation croissante des systèmes vocaux. Les progrès de l'IA vocale se dirigent vers une spécialisation accrue. Plutôt que de chercher un modèle vocal universellement supérieur, les systèmes actuels optimisent des capacités spécifiques telles que la précision technique, la compréhension émotionnelle, l'intelligence conversationnelle, l'expressivité et la robustesse. Un modèle performant pour répéter des numéros de réservation ou des noms complexes peut avoir des difficultés à exprimer des émotions de manière convaincante.

• L'écoute, un défi pour les modèles vocaux. Les modèles de Parole-à-Parole montrent la plus grande variation parmi toutes les catégories évaluées. Certains systèmes excellent dans la reconnaissance des émotions mais peinent à répondre naturellement. L'accès à l'audio ne garantit pas que les agents utilisent les informations paralinguistiques disponibles. Certains systèmes restent focalisés sur la transcription, négligeant des indices tels que le ton, le rythme, l'hésitation, l'accentuation et le volume.

• Les benchmarks traditionnels dépassés par la réalité. De nombreux benchmarks établis atteignent leurs limites et ne reflètent pas les conditions réelles. Les modèles continuent de rencontrer des difficultés avec la parole accentuée, les locuteurs qui se chevauchent, l'émotion, le bruit de fond et les conversations prolongées. Dans notre évaluation, la performance variait considérablement entre les modèles open-source et propriétaires leaders, contrairement à ce que suggèrent les benchmarks traditionnels.

• L'importance de l'évaluation humaine. Des recherches préliminaires montrent que certains modèles peuvent être optimisés pour des benchmarks publics établis. Plusieurs reproduisent des erreurs connues dans les transcriptions de référence, suivent des conventions d'orthographe arbitraires et reconstruisent même des mots masqués absents de l'audio.

L'urgence d'une nouvelle mesure pour l'IA vocale

Alors que la voix s'impose comme l'une des interfaces clés de l'IA, la vitesse et la précision technique ne suffiront plus à déterminer le succès des systèmes. Les modèles qui seront adoptés par le public seront ceux capables de comprendre, d'exprimer et de répondre comme des humains, non seulement dans des conditions idéales de benchmark, mais aussi à travers la complexité des conversations réelles.

Depuis des décennies, l'IA vocale a progressé en s'optimisant selon des métriques quantitatives sur des benchmarks standardisés, du WER pour la précision de transcription aux métriques perceptuelles objectives comme PESQ et DNSMOS pour la qualité de la parole. Real World VoiceEQ espère élargir ce paradigme en fournissant une métrique ancrée dans l'humain pour évaluer les composants des interactions vocales synthétiques.