ByteDance présente son nouveau modèle d’IA OmniHuman-1, générant des animations réalistes du corps entier

ByteDance lance le modèle OmniHuman-1
Le 6 février, les chercheurs de ByteDance ont récemment présenté un modèle d'IA capable de générer des vidéos de demi-corps et de corps entier à partir d'une seule image et d'un clip audio.
Animation de corps entier et synchronisation précise
ByteDance a déclaré que, contrairement à certaines technologies de deepfake qui ne génèrent que des animations de visage ou de haut du corps, OmniHuman-1 est capable de produire des animations réalistes du corps entier et peut synchroniser avec précision les gestes et les expressions faciales avec la voix ou la musique.
Exposition du projet et applications
ByteDance a publié plusieurs vidéos de test sur sa page de projet OmniHuman-lab, y compris des conférences TED générées par IA et un Albert Einstein parlant. Dans un article publié lundi, ByteDance a souligné que le modèle OmniHuman-1 prend en charge différents types de corps et ratios d'image, ce qui rend les effets vidéo plus naturels.
Entraînement du modèle et performance
Selon IT Home, ByteDance a déclaré que le modèle OmniHuman-1 a été formé avec environ 19 000 heures de données sur les mouvements humains, lui permettant de générer des vidéos de n'importe quelle longueur dans les limites de la mémoire et de s'adapter à différents signaux d'entrée. Les chercheurs ont également mentionné qu'OmniHuman-1 surpasse les autres outils d'animation en termes de réalisme et de précision.
Pas encore disponible au téléchargement ou pour les services
Actuellement, l'outil n'est pas disponible en téléchargement ni pour des services.
Conclusion
Le modèle OmniHuman-1 de ByteDance, qui génère des animations réalistes de corps entier à partir d'images et de sons, démontre l'innovation et les percées de l'entreprise dans le domaine de la technologie de l'IA. OmniHuman-1 synchronise non seulement précisément les gestes et les expressions faciales, mais prend également en charge différents types de corps et ratios d'image, offrant ainsi un soutien technique puissant pour générer des effets vidéo naturels. Bien que l'outil ne soit pas encore disponible en téléchargement ou pour des services, ses performances en termes de réalisme et de précision ont déjà attiré une grande attention et des attentes.