apple-aiml-research/ml-neuman
Official repository of NeuMan: Neural Human Radiance Field from a Single Video (ECCV 2022)
何を解決するか
NeuManは、単一の入力動画から静的背景シーンと動的でアニメーション可能な人間の姿を再構成する課題に対処します。これにより、元の環境内での人物の新しい視点や新しいポーズの合成が可能になります。
動作方法
このシステムは、Neural Radiance Fields (NeRF) を用いてシーンを表現します。再構成を2つの部分に分けています：背景シーン用のNeRFと人間用のNeRF。人間モデルはSMPL（パラメトリックな人体モデル）と統合されており、アニメーションやポーズの変更が可能になり、元の動画に登場しなかったポーズでの人物のレンダリングが実現できます。
対象ユーザー
このプロジェクトは、コンピュータビジョン、3D再構成、ニューラルレンダリングに取り組む研究者や開発者向けです。特に、人間中心のシーン合成に興味がある方々に適しています。
特徴
- 単一動画入力：1つの動画から完全な3Dシーンと人物を再構成可能。
- アニメーション可能な人間：SMPLの重みを使用して新しいポーズの合成をサポート。
- 構成的合成：複数の再構成された人物を1つのシーンにレンダリング可能（テレガザリング）。
- 新しい視点の合成：標準的およびポーズされた人間の360度ビューを生成。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト