openxrlab/xrmocap

解決する課題

XRMoCapは、マルチビューモーションキャプチャ（mocap）を簡素化するために設計されたPyTorchベースのツールボックスであり、複数のキャリブレーション済みカメラから3Dの人体ポーズと形状を推定できます。単一人および複数人の両方のシナリオに対応する統一されたフレームワークを提供し、さまざまな最先端（SOTA）手法をサポートしています。

仕組み

このプロジェクトは、最適化ベースおよび学習ベースのモーションキャプチャアルゴリズムをモジュール式フレームワークに統合しています。3DキーポイントとSMPL(-X)のようなパラメータ化された人体モデルという、2つの主要なモーション表現をサポートしています。システムは任意の数（2台以上）のキャリブレーション済みカメラを処理でき、自動カメラ選択や異なるモーション表現間の変換ツールも含まれています。

対象ユーザー

このツールキットは、人体知覚、3Dポーズ推定、モーションキャプチャに取り組む研究者やエンジニア、特に新しいmocapアルゴリズムのプロトタイピングのための標準化されたベンチマークと柔軟なパイプラインを必要とする方に適しています。

ハイライト

• 包括的な手法サポート: SMPLify、MvP、HuMMan MoCapなどのSOTA手法を再実装。
• モジュール式アーキテクチャ: 設定ファイルを通じて異なるコンポーネントを選択し、mocapパイプラインをカスタマイズ可能。
• デュアル表現: キーポイントベースおよびパラメータ化人体モデルベース（SMPL/SMPL-X）の両方の推定をサポート。
• 複数人対応: マルチビュー設定を使用して、シーン内の単一人および複数人を処理可能。
• 統合ベンチマーク: Campus、Shelf、CMU Panopticなどの標準的なデータセットをサポート。