yangtiming/Fast-SAM-3D-Body

解決する課題

Fast SAM 3D Body は、従来の SAM 3D Body (3DB) フレームワークにおける高い推論レイテンシ（1画像あたり数秒）という課題を解決します。この遅延により、人型ロボットの制御やインタラクティブなモーション追跡といったリアルタイムアプリケーションでの利用が困難でした。

仕組み

これはトレーニング不要の高速化フレームワークであり、以下の技術を通じて 3DB の推論パスを最適化します：

• 並列化 (Parallelization)：シリアルな空間依存関係を切り離し、並列的なマルチクロップ特徴抽出と効率化された transformer デコーディングを実現します。
• 剪定 (Pruning)：アーキテクチャを考慮した剪定を適用し、計算オーバーヘッドを削減します。
• ハードウェア加速 (Hardware Acceleration)：torch.compile と TensorRT を活用してモデルの実行を最適化します。
• ニューラルマッピング (Neural Mapping)：低速で反復的なメッシュフィッティングプロセス (MHR-to-SMPL) を直接的なフィードフォワードニューラルマッピングに置き換え、この特定のステップを10,000倍以上高速化します。

対象ユーザー

本プロジェクトは、3D人体メッシュ復元、コンピュータビジョン、ロボット工学に取り組む研究者や開発者、特に単一のRGBカメラストリームからリアルタイムの全身追跡を必要とする方に向けたものです。

ハイライト

• 大幅な高速化：従来の SAM 3D Body と比較して、エンドツーエンドで最大10.9倍の高速化を実現。
• リアルタイム性能：NVIDIA RTX 5090 上で1フレームあたり約65 msのエンドツーエンドレイテンシを実現し、人型ロボットの制御を可能にします。
• 高忠実度：従来の 3DB と同等の復元精度を維持し、LSPET などの特定のベンチマークではそれを上回る性能を発揮します。
• ロボット工学への統合：視覚のみによる遠隔操作や、人型ロボットの操作ポリシー収集における有用性を実証済みです。