apple-aiml-research/ml-hugs

何を解決するか

HUGS は、単一の動画から静的背景シーンとアニメーション可能な人間の姿を再構築する課題に対処します。これにより、シーンの文脈を維持しつつ、新しいポーズにアニメーション可能な3D表現を生成できます。

動作方法

このシステムはニューラルレンディアンスフィールドとガウススプラッティングを使用します。人間とシーンの両方を共同最適化する、人間のみに焦点を当てる（Triplane+MLPモデルを使用）、またはシーンのみに焦点を当てる、3つの異なる学習モードで訓練できます。人間の幾何学を扱うためにSMPLボディモデルを活用し、AMASSなどのデータセットと統合することで、新しいアニメーションのレンダリングが可能になります。

対象ユーザー

このプロジェクトは、コンピュータビジョンおよび3D再構築分野の研究者や開発者を対象としており、再構築された環境内でアニメーション可能なデジタル人間を作成したい人向けです。

特徴

• 単一の動画から人間と背景を同時に再構築可能。
• 外部のモーションキャプチャデータを使用して新しいアニメーションのレンダリングをサポート。
• 人間とシーンの両方、人間のみ、またはシーンのみの最適化に対応する柔軟な学習モード。
• 人間表現にTriplane+MLPモデルを実装。