ByteDance, 현실적인 전체 몸 애니메이션을 생성하는 새로운 AI 모델 OmniHuman-1을 소개

ByteDance, OmniHuman-1 모델 출시
2월 6일, ByteDance 연구자들은 최근 하나의 이미지와 오디오 클립을 통해 반신과 전신 비디오를 생성할 수 있는 AI 모델을 공개했다.
전신 애니메이션과 정밀 동기화
ByteDance는 일부 얼굴이나 상반신 애니메이션만 생성하는 딥페이크 기술들과 달리, OmniHuman-1은 사실감 넘치는 전신 애니메이션을 생성할 수 있으며, 제스처와 표정을 음성이나 음악과 정밀하게 동기화할 수 있다고 밝혔다.
프로젝트 시연 및 응용
ByteDance는 OmniHuman-lab 프로젝트 페이지에 여러 테스트 비디오를 게시했으며, 여기에는 AI로 생성된 TED 강연과 말하는 Albert Einstein이 포함되어 있다. 월요일에 발표된 논문에서 ByteDance는 OmniHuman-1 모델이 다양한 체형과 화면 비율을 지원하여 비디오 효과를 더 자연스럽게 만든다고 언급했다.
모델 훈련 및 성능
IT 홈에 따르면, ByteDance는 OmniHuman-1 모델이 약 19,000시간의 인간 운동 데이터를 기반으로 훈련되었으며, 메모리 제약 내에서 아무 길이의 비디오를 생성하고 다양한 입력 신호에 적응할 수 있다고 밝혔다. 연구자들은 또한 OmniHuman-1이 사실성과 정확성 면에서 다른 애니메이션 도구들을 능가한다고 말했다.
현재 다운로드나 서비스 제공 안 함
현재 이 도구는 다운로드나 서비스로 제공되지 않는다.
결론
ByteDance가 공개한 OmniHuman-1 모델은 이미지와 오디오를 기반으로 사실적인 전신 애니메이션을 생성하며, 회사의 AI 기술 분야에서의 혁신과突破를 보여준다. OmniHuman-1은 제스처와 표정을 정밀하게 동기화할 수 있을 뿐만 아니라 다양한 체형과 화면 비율을 지원하여 자연스러운 비디오 효과 생성을 위한 강력한 기술적 지원을 제공한다. 현재 도구는 다운로드나 서비스로 제공되지 않지만, 사실성 및 정확성 면에서의 성능은 이미 많은 주목과 기대를 받고 있다.