ByteDance apresenta novo modelo de IA OmniHuman-1, gerando animações realistas de corpo inteiro

ByteDance lança modelo OmniHuman-1
Em 6 de fevereiro, pesquisadores da ByteDance recentemente mostraram um modelo de IA capaz de gerar vídeos de meio corpo e corpo inteiro a partir de uma única imagem e clipe de áudio.
Animação de corpo inteiro e sincronização precisa
A ByteDance afirmou que, ao contrário de algumas tecnologias de deepfake que geram animações apenas de rosto ou parte superior do corpo, o OmniHuman-1 é capaz de criar animações realistas de corpo inteiro e pode sincronizar com precisão gestos e expressões faciais com voz ou música.
Exposição do projeto e aplicações
A ByteDance publicou vários vídeos de teste em sua página de projeto OmniHuman-lab, incluindo palestras do TED geradas por IA e um Albert Einstein falando. Em um artigo publicado na segunda-feira, a ByteDance destacou que o modelo OmniHuman-1 suporta diferentes tipos de corpo e proporções de imagem, tornando os efeitos de vídeo mais naturais.
Treinamento do modelo e desempenho
De acordo com o IT Home, a ByteDance afirmou que o modelo OmniHuman-1 foi treinado com cerca de 19.000 horas de dados de movimento humano, o que lhe permite gerar vídeos de qualquer comprimento dentro das limitações de memória e se adaptar a diferentes sinais de entrada. Os pesquisadores também mencionaram que o OmniHuman-1 supera outras ferramentas de animação em termos de realismo e precisão.
Ainda não disponível para download ou serviço
No momento, a ferramenta não está disponível para download ou serviço.
Conclusão
O modelo OmniHuman-1 da ByteDance, que gera animações realistas de corpo inteiro a partir de imagens e áudio, demonstra a inovação e os avanços da empresa na tecnologia de IA. O OmniHuman-1 não só sincroniza com precisão gestos e expressões faciais, mas também suporta diferentes tipos de corpo e proporções de imagem, oferecendo um poderoso suporte técnico para gerar efeitos de vídeo naturais. Embora a ferramenta ainda não esteja disponível para download ou serviço, seu desempenho em termos de realismo e precisão já atraiu grande atenção e expectativas.