zju3dv/EasyMocap

解決する課題

EasyMocapは、マーカーレス人体動作キャプチャと新規視点合成のための包括的なツールボックスを提供します。被写体に物理的なマーカーを装着する必要がなく、マルチビュー設定、単一のインターネットビデオ、鏡が映り込んだビデオなど、さまざまなビデオソースから3Dの身体、手、顔のポーズを抽出できます。

仕組み

このシステムは、パラメータ化された人体モデル（SMPL、SMPL-X、MANOなど）をビデオデータにフィッティングします。ソースに応じて、以下の技術を使用します：

• マルチビュー： 同期されたカメラに対してモデルをフィッティングし、詳細なポーズをキャプチャします。
• インターネットビデオ： 2Dキーポイント推定（MediaPipeやHRNetなどのツールを使用）とCNN初期化を組み合わせて、3D動作を再構築します。
• 鏡が映り込んだビデオ： 鏡に映った人体の幾何学的構造を特別に処理し、3Dポーズを再構築します。
• 新規視点合成： 暗黙的なニューラル表現を使用して、疎な視点から動的な人間の新しい視点を生成します。

対象ユーザー

このツールは、高価なマーカーベースのハードウェアを使用せずにRGBビデオから人体動作をキャプチャする必要がある、3Dビジョン、コンピュータグラフィックス、アニメーション分野の研究者や開発者向けに設計されています。

特徴

• 多様な入力： マルチビュー、単一視点のインターネットビデオ、鏡が映り込んだビデオをサポート。
• 包括的なモデルサポート： 全身、手、顔のキャプチャ用にSMPL、SMPL+H、SMPL-X、MANOモデルと互換性があります。
• 新規視点合成： 疎なマルチビュービデオから人間同士のインタラクションの新しい視点を合成する機能。
• 統合ツール： カメラキャリブレーション、3Dリアルタイム可視化、バウンディングボックスおよびキーポイントのアノテーション用ツールを内蔵。