ByteDance представляет новую модель ИИ OmniHuman-1, генерирующую реалистичные анимации всего тела

ByteDance представляет модель OmniHuman-1
6 февраля исследователи ByteDance недавно продемонстрировали модель ИИ, которая может генерировать видео половины и всего тела из одного изображения и аудиофайла.
Анимация всего тела и точная синхронизация
ByteDance заявила, что в отличие от некоторых технологий дипфейк, которые могут генерировать анимации только лица или верхней части тела, OmniHuman-1 способна создавать реалистичные анимации всего тела и точно синхронизировать жесты и выражения лиц с голосом или музыкой.
Продемонстрированные проекты и приложения
ByteDance опубликовала несколько тестовых видео на своей странице проекта OmniHuman-lab, включая AI-сгенерированные TED-токи и говорящего Альберта Эйнштейна. В статье, опубликованной в понедельник, ByteDance отметила, что модель OmniHuman-1 поддерживает различные типы телосложения и соотношения сторон, что делает видеоэффекты более естественными.
Обучение модели и производительность
Согласно IT Home, ByteDance заявила, что модель OmniHuman-1 была обучена с использованием около 19 000 часов данных о движениях человека, что позволяет ей генерировать видео любой длины в рамках ограничений памяти и адаптироваться к различным входным сигналам. Исследователи также отметили, что OmniHuman-1 превосходит другие инструменты анимации по реалистичности и точности.
Пока не доступна для скачивания или использования
В настоящее время инструмент не доступен для скачивания или использования.
Заключение
Модель OmniHuman-1 от ByteDance, генерирующая реалистичные анимации всего тела из изображений и звуков, демонстрирует инновации и прорывы компании в области ИИ технологий. OmniHuman-1 не только точно синхронизирует жесты и выражения лиц, но и поддерживает различные типы телосложения и соотношения сторон, предоставляя мощную техническую поддержку для создания естественных видеоэффектов. Хотя инструмент еще не доступен для скачивания или использования, его производительность в плане реалистичности и точности уже привлекла широкое внимание и ожидания.