バイトダンス、全身アニメーションを生成する新しいAIモデルOmniHuman-1を紹介

バイトダンス、OmniHuman-1モデルを発表
2月6日、バイトダンスの研究者たちは、1枚の画像と音声を使って半身および全身の動画を生成できるAIモデルを展示した。
全身アニメーションと精密な同期
バイトダンスは、一部の顔や上半身アニメーションを生成するディープフェイク技術と異なり、OmniHuman-1はリアルな全身アニメーションを生成でき、ジェスチャーや表情を音声や音楽と精密に同期できると述べている。
プロジェクトの展示と応用
バイトダンスは、OmniHuman-labプロジェクトページにいくつかのテスト動画を公開しており、その中にはAIが生成したTED講演や、話すアルバート・アインシュタインも含まれている。月曜日に発表された論文では、OmniHuman-1モデルが異なる体型や画面比率に対応しており、より自然な動画効果を生み出すと述べている。
モデルの訓練と性能
IT之家によると、バイトダンスは、OmniHuman-1モデルが約19,000時間の人間の運動データを基に訓練され、メモリ制限内で任意の長さの動画を生成し、異なる入力信号にも適応できると述べている。研究者たちは、OmniHuman-1がリアルさと精度において他のアニメーションツールを凌駕しているとも言及している。
ダウンロードやサービスは提供されていない
現在、このツールはダウンロードやサービスとしては提供されていない。
結論
バイトダンスが展示したOmniHuman-1モデルは、画像と音声を使ってリアルな全身アニメーションを生成するもので、同社のAI技術における革新と突破を示している。OmniHuman-1は、ジェスチャーや表情を精密に同期できるだけでなく、異なる体型や画面比率に対応しており、自然な動画効果を生み出すための強力な技術サポートを提供している。現在、ツールはダウンロードやサービスとしては提供されていないが、そのリアルさと精度における性能はすでに広く注目され、期待されている。