Winn1y/Awesome-Human-Motion-Video-Generation

해결하는 문제

인간 모션 비디오 생성(말하는 머리, 초상화 애니메이션, 댄스 비디오, 텍스트 또는 오디오 기반 아바타 등)을 연구하는 연구자와 개발자는 빠르게 변화하는 문헌을 추적하는 데 어려움을 겪는 경우가 많습니다. 이 프로젝트는 수백 개의 관련 논문(724개 이상의 논문과 65개 이상의 데이터셋이 언급됨)을 수집하여 단일 검색 가능한 저장소로 구성합니다. 또한 분야를 명확한 단계로 나누는 구조화된 서베이를 제공하여 서로 다른 방법 간의 관계와 남아 있는 공개 문제를 이해하기 쉽게 만듭니다.

작동 방식

저장소는 연구를 세 가지 주요 구동 조건(비전 기반, 텍스트 기반, 오디오 기반)으로 그룹화하고 LLM 기반 계획 논문도 포함합니다. 핵심 기여는 디지털 휴먼 비디오 생성의 전체 파이프라인을 설명하는 5단계 프레임워크입니다:

1. 입력 단계 — 구동 소스(비전, 텍스트 또는 오디오)와 구동 영역(부분, 일반적으로 얼굴 또는 전신)을 정의합니다.
2. 모션 계획 단계 — 대부분의 작업은 특징 매핑을 통해 모션 매핑을 학습하고, 일부는 계획에 대규모 언어 모델을 사용합니다.
3. 모션 비디오 생성 단계 — 대부분의 방법은 확산 모델에 기반하고, 소수는 트랜스포머에 기반합니다.
4. 비디오 정제 단계 — 얼굴, 입술, 치아, 손과 같은 특정 부분을 최적화합니다.
5. 가속 단계 — 훈련 및 추론을 가속화하여 실시간 출력을 목표로 합니다.

README는 또한 전체 서베이 PDF(TPAMI에 수락됨)에 대한 링크, 업데이트 타임라인, 최근 추가된 논문과 arXiv 링크를 제공합니다. 저자는 누락된 작업을 추가하기 위한 풀 리퀘스트를 통한 기여를 환영합니다.

대상 독자

이것은 주로 인간 중심 비디오 생성에 종사하는 연구자, 대학원생, 엔지니어를 대상으로 합니다. 특히 2D 아바타 애니메이션, 말하는 머리 합성, 댄스 생성 및 관련 작업에 초점을 맞춘 사람들을 위한 것입니다. 또한 분야의 구조화된 개요를 원하는 초보자와 빈번한 업데이트를 통해 최신 개발을 추적하려는 모든 사람에게 유용합니다.

하이라이트

• 초상화 애니메이션, 댄스 비디오 생성, 텍스트-투-페이스, 텍스트-투-모션-비디오, 말하는 머리 주제를 다루는 포괄적인 서베이.
• 생성 파이프라인의 5단계 분해 — README는 이것이 이러한 프레임워크를 제공하는 최초의 서베이라고 주장합니다.
• 구동 조건(비전, 텍스트, 오디오)별로 논문을 구성하고 모션 계획과 모션 생성 관점을 구분합니다.
• 확립된 기준선과 평가 지표를 나열하고 주요 과제에 대해 논의합니다.
• 잠재적인 미래 연구 방향 세트를 제공합니다.
• 새 논문으로 정기적으로 업데이트되며 arXiv 링크를 포함하고 버전 관리된 업데이트 기록을 따릅니다.
• 풀 리퀘스트를 통한 커뮤니티 기여를 환영하고 질문이나 누락된 작업에 대한 직접 이메일 연락처를 제공합니다.