Winn1y/Awesome-Human-Motion-Video-Generation

解决的问题

从事人体运动视频生成的研究人员和开发者——例如说话头、肖像动画、舞蹈视频以及文本或音频驱动的虚拟形象——常常难以跟上快速发展的文献。本项目将数百篇相关论文（提到724+篇论文和65+个数据集）收集并组织到一个可搜索的单一资源库中。它还提供了一份结构化的综述，将该领域划分为清晰的阶段，使人们更容易理解不同方法之间的关系以及尚存的开放问题。

工作原理

该资源库将研究分为三个主要驱动条件：视觉驱动、文本驱动和音频驱动，并包含基于LLM的规划论文。核心贡献是一个五阶段框架，描述了数字人视频生成的完整流水线：

1. 输入阶段 — 定义驱动源（视觉、文本或音频）和驱动区域（部分，通常是面部，或整个身体）。
2. 运动规划阶段 — 大多数工作通过特征映射学习运动映射，少数使用大型语言模型进行规划。
3. 运动视频生成阶段 — 大多数方法基于扩散模型，少数基于Transformer。
4. 视频细化阶段 — 优化特定部分，如面部、嘴唇、牙齿和手。
5. 加速阶段 — 加速训练和推理，目标是实时输出。

README还链接到完整的综述PDF（被TPAMI接收），提供更新时间线，并列出最近添加的论文及其arXiv链接。作者欢迎通过拉取请求贡献，以添加缺失的工作。

适用人群

这主要面向从事以人为中心的视频生成的研究人员、研究生和工程师——尤其是那些专注于2D虚拟形象动画、说话头合成、舞蹈生成及相关任务的人。对于希望获得该领域结构化概述的新手，以及通过频繁更新跟踪最新进展的任何人，它也很有用。

亮点

• 全面综述，涵盖肖像动画、舞蹈视频生成、文本到人脸、文本到运动视频和说话头主题。
• 生成流水线的五阶段分解——README声称这是首个提供此类框架的综述。
• 按驱动条件（视觉、文本、音频）组织论文，并区分运动规划和运动生成视角。
• 列出已建立的基线和评估指标，并讨论关键挑战。
• 提供一组潜在的未来研究方向。
• 定期更新新论文；包含arXiv链接，并遵循版本化更新历史。
• 欢迎通过拉取请求进行社区贡献，并提供直接电子邮件联系以解答问题或补充缺失工作。