ByteDance déploie son nouveau modèle de génération audio et vidéo, Dreamina Seedance 2.0, sur sa plateforme d’édition, CapCut.
Ce déploiement positionne ByteDance comme un acteur clé sur le marché de la génération vidéo IA, suite à la décision d’OpenAI de réduire ses efforts dans l’application Sora.
Le modèle permet aux créateurs de rédiger, d’éditer et de synchroniser du contenu vidéo et audio à l’aide d’invites, d’images ou de vidéos de référence, selon ByteDance.
Le déploiement ciblera initialement les utilisateurs de CapCut au Brésil, en Indonésie, en Malaisie, au Mexique, aux Philippines, en Thaïlande et au Vietnam. ByteDance a déclaré que des marchés supplémentaires seront ajoutés progressivement.
La société a déjà été confrontée à des problèmes de propriété intellectuelle concernant le modèle, ce qui a entraîné une pause dans son déploiement mondial et des critiques de la part d’Hollywood concernant des violations présumées du droit d’auteur. Cela peut expliquer la disponibilité initiale limitée sur le marché.
En Chine, Dreamina Seedance 2.0 est disponible dans l’application Jianying de ByteDance.
Le modèle de génération vidéo peut fonctionner sans images de référence, permettant aux créateurs de décrire les scènes en quelques mots, a annoncé ByteDance.
CapCut peut restituer des textures, des mouvements et un éclairage réalistes selon différentes perspectives et angles visuels pour le modèle. La société a noté que cette capacité pourrait améliorer ou corriger les séquences de créateurs existantes.
Les utilisateurs peuvent également tester des idées de contenu basées sur des concepts ou des croquis préliminaires avant le tournage, a indiqué la société.
Dreamina Seedance 2.0 prend en charge des types de contenu tels que des recettes de cuisine, des tutoriels de fitness, des présentations d’entreprises et des vidéos axées sur l’action, des domaines dans lesquels les modèles vidéo d’IA rencontraient auparavant des défis, a expliqué ByteDance.
Au lancement, le modèle prend en charge les clips vidéo d’une durée maximale de 15 secondes dans six formats d’image.
L’intégration dans CapCut inclura des fonctionnalités telles que AI Video et des outils de génération tels que Video Studio. Le modèle s’étendra également à la plateforme de génération d’IA de ByteDance, Dreamina, et à sa plateforme marketing, Pippit.
ByteDance a mis en place des restrictions de sécurité pour empêcher le modèle de générer des vidéos à partir d’images ou de vidéos contenant des visages réels en raison de ses capacités de génération de contenu réaliste. CapCut bloquera également la génération non autorisée de propriété intellectuelle.
Le contenu produit par Dreamina Seedance 2.0 contiendra un filigrane invisible pour identifier le matériel généré par l’IA lorsqu’il est partagé hors plateforme. Cette fonctionnalité pourrait aider à répondre aux demandes de retrait des titulaires de droits, a ajouté ByteDance.
ByteDance prévoit de collaborer avec des experts et des communautés créatives pendant le déploiement pour améliorer de manière itérative les capacités du modèle.
