NVlabs/GEM-X

解決する問題

GEM-X は、画像と動画からの正確な3D人体姿勢推定のニーズに対応し、身体姿勢、手の姿勢、時間的身体動作を1つの統合フレームワークに組み合わせます。従来のアプローチでは、別々のモデルとパイプラインが必要になることがよくあります。GEM-X は、これらのタスク全体で推論、トレーニング、評価のための単一のコードベースを提供し、ロボティクス、AR/VR、ビデオ分析などのアプリケーションの複雑さを軽減します。

仕組み

フレームワークは3つのモデルで構成されています。身体姿勢と手の姿勢は単一画像から3Dジオメトリを再構築し、身体動作は時間的コンテキストを使用して単眼ビデオからカメラ空間とワールド空間の人体動作を推定します。すべてのモデルは SOMA ジオメトリに依存しています。pose-image、pose-video、motion-video、motion-cache の4つの推論モードがあり、異なる入力タイプと処理ニーズを処理します。トレーニングと微調整のワークフローはタスク間で共有され、各モデルに事前学習済みチェックポイントが用意されています。パイプラインには、人物検出、手の追跡、接触/IK 後処理などのオプションコンポーネントが含まれます。

対象読者

人体姿勢推定、ロボティクス（Unitree G1 などのロボットへのモーションリターゲティングを含む）、AR/VR、ビデオ理解、および姿勢推定システムの本番展開に取り組む研究者と開発者。README では、スケーラブルな展開のための NVIDIA AI for Media との統合も強調されています。

ハイライト

• 身体姿勢、手の姿勢、身体動作のための統合フレームワークで、3つのモデルと4つの推論モードを備えています。
• 単一画像からの身体と手の再構築、および単眼ビデオからの時間的身体動作。
• 柔軟な手の入力：提供されたボックスまたは RT-DETR 検出、ego/exo 処理プロファイル、追跡と平滑化。
• ロボティクスのショーケース：SOMA Retargeter を使用した Unitree G1 へのモーションリターゲティング。
• 3つのモデルすべてでトレーニングと微調整をサポートし、各モデルに事前学習済みの重みがあります。
• 標準ベンチマーク（MPJPE、PA-MPJPE、PVE）とネイティブな手の指標を使用した評価。
• ONNX/TensorRT アクセラレーションが追加されました（2025-06 時点）。
• Apache 2.0 ライセンス、ファイルごとの例外あり。