Google intègre l'IA pour la langue des signes sur Pixel

Une avancée technologique majeure pour la langue des signes

L'intelligence artificielle a fait des progrès considérables dans le domaine des langues parlées au cours des dernières décennies. Des outils comme la traduction automatique et la reconnaissance vocale sont devenus des éléments essentiels pour les utilisateurs entendants. Cependant, cette révolution technologique n'a pas encore pleinement intégré les langues des signes, qui comptent plus de 200 variantes utilisées par environ 70 millions de personnes sourdes et malentendantes à travers le monde.

Aujourd'hui, un modèle de traduction de la langue des signes en texte, nommé SL2T, marque une avancée significative. Ce modèle, qui est massivement multilingue, est désormais intégré dans des produits destinés au grand public. Il permet la dictée de la langue des signes en texte sur des appareils tels que Gboard et Live Transcribe, disponibles sur le Pixel 11. Le modèle commence par prendre en charge la traduction de l'American Sign Language (ASL) vers l'anglais, avec des plans pour étendre cette fonctionnalité à d'autres langues et appareils.

Cette technologie offre aux utilisateurs sourds la possibilité de signer pour effectuer des recherches sur le web, rédiger des messages ou des documents, et interagir avec des assistants virtuels comme Gemini. Dans l'application Live Transcribe, les utilisateurs peuvent signer leurs réponses lors de conversations, éliminant ainsi le besoin de taper. Selon les premiers retours, signer en ASL est perçu comme plus rapide et naturel que taper en anglais.

L'importance des langues des signes

Les langues des signes jouent un rôle central dans les communautés sourdes à travers le monde, constituant un élément clé de leur identité culturelle. Il existe une grande diversité parmi les personnes sourdes en termes de compétences en langue des signes, en parole, en lecture et en écriture. Il est donc crucial de soutenir l'accès à l'information dans toutes ces modalités. La technologie de traitement de la langue des signes offre des opportunités pour améliorer la communication entre les communautés sourdes et entendantes.

Cependant, les progrès dans ce domaine ont été lents, en partie à cause des défis complexes liés à la création d'une IA pour les langues des signes. Contrairement à la transcription de la parole, qui est une correspondance séquentielle entre le son et le texte, les langues des signes nécessitent une véritable traduction automatique. Elles possèdent leurs propres grammaires et lexiques distincts, et leur compréhension implique de suivre des mouvements physiques complexes des mains, des bras, du torse, de la tête et du visage.

Les tentatives antérieures, comme les gants de langue des signes, ont échoué à capturer la complexité de ces langues. SL2T vise à surmonter ces limitations en fournissant une perception visuelle avancée et une traduction linguistique complète.

Le fonctionnement de SL2T

SL2T a été développé en combinant une approche centrée sur l'utilisateur avec une mise à l'échelle massive des données. Le modèle a été entraîné sur plus de 100 000 heures de données couvrant plus de 50 langues des signes, dont environ un quart en ASL. Cette diversité permet au modèle d'apprendre des structures linguistiques communes, surpassant ainsi les modèles monolingues.

Pour garantir la confidentialité des utilisateurs, SL2T traite la langue des signes comme une séquence de points de repère de pose, plutôt qu'un flux vidéo brut. Un modèle sur appareil, MediaPipe Holistic, suit la position des points sur le signataire, et seules ces coordonnées géométriques sont envoyées au serveur pour traduction, éliminant ainsi la vidéo originale.

SL2T traduit directement ces coordonnées en texte, évitant les annotations intermédiaires appelées "glosses". Ces glosses ne capturent pas les aspects riches et non linéaires des langues des signes, tels que les marqueurs non manuels et les constructions spatiales. La traduction directe améliore la qualité en se basant directement sur les données.

Selon des benchmarks clés comme FLEURS-ASL, SL2T est le modèle de traduction de langue des signes le plus performant à ce jour. Il atteint un score de 70 BLEURT en zéro-shot, surpassant les scores précédents. Toutefois, l'optimisation des benchmarks académiques ne garantit pas l'utilisabilité pratique. C'est pourquoi des efforts ont été faits pour minimiser la latence de streaming, éviter les erreurs sur les entrées non signées, assurer l'équité pour les signataires gauchers, et améliorer les performances pour la signature à une main.

Une collaboration avec la communauté sourde

Le développement de SL2T a été guidé par une collaboration étroite avec la communauté sourde. Les perspectives sourdes ont influencé chaque étape du projet, de la conceptualisation par Sam Sepah, un employé sourd de Google, à la collecte de données avec des partenaires sourds, en passant par l'évaluation de la technologie avec des experts sourds.

Pour assurer un déploiement responsable, Google a créé le AI Sign Language Advisory Committee (AISLAC), qui réunit des organisations sourdes mondiales et des experts. Ce modèle de gouvernance participative permet aux communautés les plus concernées d'influencer directement les priorités de développement. Un rapport d'impact conjoint a été rédigé pour la sortie de SL2T 1.0, détaillant les capacités et les limitations actuelles de la technologie.

Vers l'avenir

SL2T s'appuie sur des décennies de recherche fondamentale, mais l'introduction de l'ASL sur les téléphones n'est qu'un début. Google vise à rendre l'information universellement accessible, ce qui implique d'atteindre une parité complète avec les langues parlées et écrites. L'équipe travaille à étendre cette technologie à d'autres langues des signes, à la génération de langue des signes, et à des capacités d'IA avancées. Les progrès seront partagés de manière responsable pour rendre l'accès via les langues des signes standard dans le paysage numérique.

Les utilisateurs peuvent expérimenter SL2T dans Gboard et Live Transcribe sur le Pixel 11, avec d'autres appareils à venir, sans coût supplémentaire.