ByteDance stellt neues KI-Modell OmniHuman-1 vor, das realistische Ganzkörper-Animationen erzeugt

ByteDance führt das OmniHuman-1-Modell ein
Am 6. Februar berichteten die Forscher von ByteDance, dass sie kürzlich ein KI-Modell vorgestellt haben, das aus einem einzigen Bild und einem Audio-Clip Videos für den Oberkörper und den gesamten Körper generieren kann.
Ganzkörper-Animation und präzise Synchronisation
ByteDance erklärte, dass OmniHuman-1 im Gegensatz zu einigen Deepfake-Technologien, die nur Gesicht- oder Oberkörper-Animationen erzeugen, in der Lage ist, realistische Ganzkörper-Animationen zu erstellen und Gesten sowie Gesichtsausdrücke präzise mit Stimme oder Musik zu synchronisieren.
Projektvorführung und Anwendungen
ByteDance veröffentlichte mehrere Testvideos auf seiner OmniHuman-lab-Projektseite, darunter AI-generierte TED-Vorträge und ein sprechender Albert Einstein. In einem am Montag veröffentlichten Artikel stellte ByteDance fest, dass das OmniHuman-1-Modell verschiedene Körpertypen und Bildverhältnisse unterstützt, um die Videoeffekte natürlicher zu gestalten.
Modelltraining und Leistung
Laut IT Home erklärte ByteDance, dass das OmniHuman-1-Modell mit etwa 19.000 Stunden menschlicher Bewegungsdaten trainiert wurde, was ihm ermöglicht, Videos beliebiger Länge innerhalb der Speicherkapazität zu generieren und sich an verschiedene Eingangssignale anzupassen. Die Forscher betonten auch, dass OmniHuman-1 andere Animationswerkzeuge in Bezug auf Realismus und Genauigkeit übertrifft.
Derzeit nicht zum Download oder für Dienstleistungen verfügbar
Derzeit ist das Tool nicht zum Download oder als Dienst verfügbar.
Fazit
Das OmniHuman-1-Modell von ByteDance, das aus Bildern und Audio realistische Ganzkörper-Animationen erzeugt, zeigt die Innovation und Durchbrüche des Unternehmens im Bereich der KI-Technologie. OmniHuman-1 synchronisiert nicht nur Gesten und Gesichtsausdrücke präzise, sondern unterstützt auch verschiedene Körpertypen und Bildverhältnisse und bietet damit eine starke technische Unterstützung für die Erzeugung natürlicher Videoeffekte. Obwohl das Tool derzeit nicht zum Download oder für Dienstleistungen verfügbar ist, hat seine Leistung in Bezug auf Realismus und Genauigkeit bereits große Aufmerksamkeit und Erwartungen auf sich gezogen.