ByteDance’s new AI video generation model, Dreamina Seedance 2.0, comes to CapCut

Le nouveau modèle AI de génération vidéo de ByteDance, Dreamina Seedance 2.0, arrive sur CapCut

ByteDance a confirmé jeudi que son nouveau modèle audio et vidéo, Dreamina Seedance 2.0, est désormais déployé sur sa plateforme d'édition, CapCut.

Ce modèle permet aux créateurs de rédiger, éditer et synchroniser du contenu vidéo et audio en utilisant des prompts, des images ou des vidéos de référence.

Le déploiement se fera progressivement, en commençant par les utilisateurs de CapCut au Brésil, en Indonésie, en Malaisie, au Mexique, aux Philippines, en Thaïlande et au Vietnam, avec l'ajout de nouveaux marchés au fil du temps.

Cette annonce intervient après un rapport récent indiquant que le déploiement mondial du modèle serait suspendu pour résoudre des problèmes de propriété intellectuelle qui avaient suscité des critiques à Hollywood concernant des allégations de violation de droits d'auteur. Cela explique probablement le nombre limité de marchés où le modèle est actuellement disponible sur CapCut.

En Chine, le modèle est accessible aux utilisateurs de l'application Jianying de ByteDance.

Le modèle de génération vidéo fonctionne sans images de référence, même si le créateur n'utilise que quelques mots pour décrire la scène qu'il a en tête. CapCut excelle également dans le rendu de textures réalistes, de mouvement et d'éclairage à travers une variété de perspectives et d'angles visuels, ce qui pourrait être utilisé pour éditer, améliorer ou corriger les propres séquences des créateurs.

Un autre cas d'utilisation serait de permettre aux créateurs de tester des idées potentielles basées sur des concepts ou des croquis préliminaires avant de filmer la vidéo réelle.

De plus, Dreamina Seedance 2.0 peut être utilisé pour une large gamme de contenus, y compris des recettes de cuisine, des tutoriels de fitness, des présentations d'entreprise ou de produit, et des vidéos axées sur le mouvement ou l'action, où les modèles vidéo AI ont historiquement rencontré des défis.

Au lancement, le modèle prend en charge des clips d'une durée maximale de 15 secondes dans six rapports d'aspect différents.

Dans CapCut, le modèle sera déployé dans différents domaines, y compris les fonctionnalités d'édition telles que AI Video et des outils de génération comme Video Studio. Il sera également intégré à la plateforme de génération AI de ByteDance, Dreamina, et à sa plateforme de marketing, Pippit.

Étant donné sa capacité à créer du contenu réaliste, ByteDance a ajouté des restrictions de sécurité, de sorte que le modèle ne pourra pas créer de vidéos à partir d'images ou de vidéos contenant de vrais visages. CapCut bloquera également l'utilisation de la génération non autorisée de propriété intellectuelle. (Cependant, si les restrictions fonctionnaient correctement, le modèle serait déjà disponible aux États-Unis. Il est probable que d'autres ajustements soient encore en cours.)

Le contenu produit par Dreamina Seedance 2.0 inclura également un filigrane invisible, qui aidera à identifier le contenu créé avec le modèle lorsqu'il est partagé en dehors de la plateforme. Cela pourrait faciliter des demandes de retrait de la part des titulaires de droits en cas de violation de droits d'auteur.

ByteDance a déclaré qu'elle s'associerait à des experts et à des communautés créatives lors du déploiement du modèle pour itérer et améliorer ses capacités.