Le modèle open-source Bhasha identifie la langue de chaque mot dans les textes indiens mélangés, mais a initialement confondu tamoul et télougou. L’ajout de commentaires YouTube annotés et d’un indice de paires de langues dans la v2 améliore la précision. Le système fournit aussi des synthèses par message et des conseils d’usage, avec publication et liens d’accès.
Confusions tamoul–télougou, puis amélioration en v2
Les évaluations de Bhasha montrent de bonnes performances globales, mais révèlent que de nombreux mots tamouls sont mal identifiés comme télougous sur des données annotées par des humains. Cette erreur est liée à la prédominance du tamoul écrit de type presse dans l’entraînement, alors que les formes parlées sont fréquentes dans les commentaires. L’option d’indice de paire de langues (langs) contribue à améliorer l’identification. Avec l’ajout de données réelles de commentaires YouTube annotées au mot, la version v2 améliore nettement la reconnaissance du tamoul.
La recherche en IA vous passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Des sorties au mot et au message pour des usages précis
L’identification linguistique au niveau du message ne suffit pas pour certaines tâches qui exigent des étiquettes mot à mot. Bhasha attribue une étiquette de langue à chaque mot et génère, pour chaque message, des résumés comprenant la langue dominante, le type de script utilisé et la distribution des langues. Ces résultats conviennent à des applications telles que la translittération, la tokenisation, la modélisation de la traduction, l’évaluation du code-mixing ou encore le filtrage de corpus.
Jeu d’entraînement, périmètre linguistique et accès
Bhasha a été entraîné sur 1,65 million de phrases mélangées générées de façon programmatique à partir de textes publics. Il cible le texte indien mixte, notamment le Hinglish, le Tanglish, le Kanglish et d’autres combinaisons de scripts romanisés et natifs. Des conseils sur les contextes d’utilisation optimale, des leçons tirées de l’analyse des erreurs en tamoul, ainsi que des détails sur la mise à disposition et des liens pour essayer Bhasha et des modèles apparentés sont présentés.
