Winn1y/Awesome-Human-Motion-Video-Generation

解決する課題

人間のモーション動画生成（話す頭部、肖像アニメーション、ダンス動画、テキストまたは音声駆動のアバターなど）に取り組む研究者や開発者は、急速に進化する文献を追跡するのに苦労することがよくあります。このプロジェクトは、数百の関連論文（724以上の論文と65以上のデータセットが言及されています）を収集し、単一の検索可能なリポジトリに整理します。また、分野を明確な段階に分けた構造化されたサーベイを提供し、異なる手法間の関係や未解決の問題を理解しやすくします。

仕組み

リポジトリは研究を3つの主要な駆動条件（視覚駆動、テキスト駆動、音声駆動）にグループ化し、LLMベースの計画論文も含みます。中核となる貢献は、デジタルヒューマン動画生成の全パイプラインを説明する5段階フレームワークです：

1. 入力段階 — 駆動源（視覚、テキスト、音声）と駆動領域（部分、通常は顔、または全身）を定義します。
2. モーション計画段階 — ほとんどの研究は特徴マッピングを通じてモーションマッピングを学習し、少数は計画に大規模言語モデルを使用します。
3. モーション動画生成段階 — ほとんどの手法は拡散モデルに基づき、少数はトランスフォーマーに基づきます。
4. 動画精緻化段階 — 顔、唇、歯、手などの特定部分を最適化します。
5. 高速化段階 — トレーニングと推論を高速化し、リアルタイム出力を目指します。

READMEはまた、完全なサーベイPDF（TPAMIに受理）へのリンク、更新のタイムライン、最近追加された論文とarXivへのリンクを提供します。著者は、不足している作業を追加するためのプルリクエストによる貢献を歓迎します。

対象読者

これは主に、人間中心の動画生成に取り組む研究者、大学院生、エンジニアを対象としています。特に、2Dアバターアニメーション、話す頭部合成、ダンス生成、および関連タスクに焦点を当てている人々向けです。また、分野の構造化された概要を望む初心者や、頻繁な更新を通じて最新の進展を追跡したい人にも役立ちます。

ハイライト

• 肖像アニメーション、ダンス動画生成、テキストから顔、テキストからモーション動画、話す頭部のトピックをカバーする包括的なサーベイ。
• 生成パイプラインの5段階分解—READMEはこれがこのようなフレームワークを提供する最初のサーベイであると主張しています。
• 駆動条件（視覚、テキスト、音声）ごとに論文を整理し、モーション計画とモーション生成の視点を区別します。
• 確立されたベースラインと評価指標をリストし、主要な課題について議論します。
• 潜在的な将来の研究方向のセットを提供します。
• 新しい論文で定期的に更新され、arXivへのリンクを含み、バージョン管理された更新履歴に従います。
• プルリクエストによるコミュニティ貢献を歓迎し、質問や不足している作業のための直接のメール連絡先を提供します。