Tu veux les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Descript : l'IA au cœur de l'édition vidéo multilingue
Descript, un éditeur vidéo innovant, a intégré l'intelligence artificielle pour transformer la manière dont les vidéos sont éditées et traduites. L'idée fondatrice est simple : si vous savez éditer du texte, vous devriez pouvoir éditer des vidéos avec la même facilité. Depuis sa création, Descript a utilisé l'IA pour chaque aspect de son produit, de la transcription à l'édition, en passant par le nettoyage audio. L'entreprise s'est associée à OpenAI, exploitant des outils comme Whisper pour la transcription et les modèles GPT dans leur co-éditeur Underlord, pour enrichir ses fonctionnalités.
La traduction vidéo : un défi simplifié par l'IA
La traduction de vidéos a longtemps été un processus complexe et coûteux, nécessitant des experts linguistiques pour assurer une traduction fidèle et de qualité. Cependant, l'émergence des modèles de langage de grande taille (LLM) a permis de simplifier ce processus. Ces modèles compressent les étapes de traduction, rendant possible une traduction de haute qualité à une échelle sans précédent.
Sous-titres et doublage : la quête de la fidélité sémantique
Lorsqu'il s'agit de sous-titrage et de doublage, la fidélité sémantique est cruciale. La traduction doit non seulement préserver le sens original, mais aussi respecter les contraintes de temps. Pour les sous-titres, cette adhérence temporelle est un atout, mais pour le doublage, elle est essentielle. Un discours traduit qui ne respecte pas la durée originale peut sembler artificiel, même si le sens est correct.
Améliorations notables grâce à l'IA
Pour surmonter ces défis, Descript a repensé son processus de traduction en utilisant les modèles de raisonnement d'OpenAI. Cela a permis d'optimiser simultanément la fidélité sémantique et le respect des durées pendant la génération, plutôt qu'après coup. En seulement 30 jours après le déploiement de ces améliorations, les exportations de vidéos traduites avec doublage ont augmenté de 15 %, et l'adhérence à la durée a progressé de 13 à 43 points de pourcentage selon les langues.
Le doublage : une demande croissante
Le doublage est devenu une fonctionnalité de plus en plus populaire pour Descript. Selon Laura Burkhauser, PDG de Descript, l'entreprise développe des solutions pour permettre aux entreprises de traduire et de synchroniser labialement des bibliothèques entières de contenu vidéo.
Les défis initiaux du doublage
Initialement, la traduction était l'une des fonctionnalités les plus demandées par les utilisateurs de Descript. L'entreprise a commencé par traduire uniquement les sous-titres, mais de nombreux utilisateurs souhaitaient également un doublage audio dans la langue cible. Cependant, un problème majeur est apparu : l'audio doublé ne sonnait pas toujours naturel. Aleks Mistratov, responsable du produit IA chez Descript, a expliqué que le rythme de la parole était souvent non naturel dans la langue traduite.
Les différences linguistiques : un obstacle au doublage naturel
La difficulté réside dans le fait que différentes langues nécessitent des durées différentes pour exprimer la même idée. Par exemple, l'allemand est généralement plus long que l'anglais. Pour s'adapter à des segments vidéo fixes, le discours traduit devait souvent être accéléré ou ralenti de manière artificielle, ce qui pouvait donner un résultat peu naturel.
Solutions proposées par Descript
Pour résoudre ce problème, les utilisateurs avaient deux options : ajuster manuellement le timing de l'audio ou réécrire la traduction pour qu'elle s'adapte mieux. Ces solutions nécessitaient des ajustements profonds et une maîtrise quasi-native de la langue cible, rendant le processus fastidieux pour les créateurs et limitant l'extension de cette fonctionnalité à de grands projets de localisation.
Vers une optimisation du timing et du sens
L'équipe de Descript a compris que pour réussir le doublage, il fallait optimiser non seulement le sens sémantique, mais aussi respecter les contraintes de timing. Lors de la traduction de l'anglais vers l'allemand, par exemple, le modèle devait être capable de simplifier le concept ou d'utiliser moins de mots pour que l'audio doublé reste naturel.
