zju3dv/animatable_nerf

解決する問題

このプロジェクトは、ビデオから現実的でアニメーション可能な3Dデジタル人間アバターを作成するという課題に取り組みます。新しい未見のポーズでポーズを取ることができる人体の再構築を可能にし、複数の視点から視覚的忠実度を維持します。

仕組み

このシステムは、暗黙的ニューラル表現を使用して人体をモデル化します。いくつかの実装バリアントを提供します：

• Animatable NeRF：ボリューム密度と色をモデル化するためにニューラル放射場を使用する元のバージョン。
• NeRF-PDF：ニューラルブレンド重みフィールドをポーズ依存の変位フィールドに置き換えたバージョン。
• SDF-PDF（Animatable Neural Fields/SDF）：標準のNeRFモデルをニューラル表面フィールドに置き換え、ボリューム密度の代わりに符号付き距離関数（SDF）を出力し、変位フィールドも利用するバージョン。

これらのモデルは、多視点ビデオデータ（Human3.6MやZJU-MoCapなど）でトレーニングされ、特定の人間のポーズに合わせて変形できる人物の標準表現を学習します。

対象者

これは主に、人体モデリング、デジタル人間合成、ニューラルレンダリングに焦点を当てたコンピュータビジョンとグラフィックスの研究者や開発者向けです。

ハイライト

• バニラNeRFやSDFベースのニューラル表面フィールドを含む複数の表現タイプをサポート。
• 新しいビューを生成し、人間を未見のポーズにアニメーション化できます。
• 学習された表現からポーズ付きの3Dメッシュを生成するツールが含まれています。
• Human3.6M、ZJU-MoCap、SyntheticHuman++を含むいくつかのデータセットで評価されています。