facebookresearch/MHR

何を解決するか

MHR（Momentum Human Rig）は高精細でパラメトリックな3D人体モデルを提供します。ユーザーは、身体のアイデンティティ、全身の関節運動（ポーズ）、詳細な顔の表情といった特定のパラメータを制御することで、現実的な人体メッシュを生成でき、すべての人体のバリエーションを手動で彫刻する必要がなくなります。

動作方法

このシステムは、人体を定義するパラメータのセットを使用します：

• アイデンティティ：身体、頭部、手の形状を制御する45パラメータ。
• ポーズ：関節角度とスケーリングを扱うための204パラメータで、身体の動きを表現します。
• 顔の表情：FACSに基づく72の意味的ブレンドシェイプウェイトで、詳細な顔アニメーションを実現します。
• ニューラル補正：ニューラルネットワークベースのポーズ依存変形を使用し、動き中のメッシュが自然に見えるようにします。
• 微分可能パイプライン：PyTorchで構築されており、微分可能な推論と最適化をサポートしています。つまり、損失関数に基づいてパラメータを最適化する機械学習ワークフローに統合可能です。

対象ユーザー

このツールは、3D人体モデリング、コンピュータビジョン、アニメーション分野で研究や開発を行っている研究者や開発者向けです。パラメータの最適化やポーズ・形状の生成・復元に柔軟で微分可能な人体ラグが必要な方々に最適です。

特徴

• 複数のLOD：パフォーマンスと視覚品質のバランスを取るために、7段階の詳細度（LOD 0–6）を提供します。
• PyTorch統合：GPU/CPU加速と標準的なautogradをサポートし、最適化に適しています。
• TorchScript対応：外部コードベースやアセットを必要としない軽量版モデルを提供し、基本的な推論に適しています。
• 相互運用性：MHRと他の一般的な人体モデル（SMPLやSMPL-X）間の変換ツールを含んでいます。