AmmarkoV/SAM3DBody-cpp

Real-time 3D full-body reconstruction from a single camera, Multiperson BVH output, Pure C++ runtime, ONNX + ggml, 70-joint skeleton with hands.

解決する課題

本プロジェクトは、単眼ビデオから3D人体ポーズを推定するための高性能C++エンジンを提供します。実行時にPythonを必要とせず、深度センサーやマルチカメラセットアップなしで、標準的な2D画像から直接3D身体パラメータ、カメラの平行移動、全身メッシュを抽出できます。

仕組み

このパイプラインは、画像特徴から直接3D身体パラメータを回帰させるディープラーニングアプローチを使用しています。まず、YOLOモデルがフレーム内の人物を検出します。次に、DINOv2-ViT-Hバックボーンがこれらのクロップ画像を空間特徴マップに処理し、Transformerデコーダーがそれをポーズトークンに圧縮します。最後に、専用のヘッドがポーズ、形状、カメラパラメータを計算し、Linear Blend Skinning (LBS) を介して3Dメッシュを生成します。

対象ユーザー

3DモーションキャプチャやアバターアニメーションをC++アプリケーション、ROS環境、またはパフォーマンスが重視されるパイプラインに統合する必要がある開発者や研究者向けに設計されています。特に、アニメーションソフトウェア(Blenderなど)用のBVHや、アバター表現用のMPEG ARFなどの形式にモーションデータをエクスポートする必要がある場合に非常に有用です。

ハイライト

  • コアとなるC++推論エンジンは実行時にPython依存ゼロ。
  • 多人数トラッキングおよび標準的なBVHファイルへのモーションキャプチャエクスポート。
  • 完全なメッシュおよびアニメーションストリーミングのためのMPEG Avatar Representation Format (ARF) をサポート。
  • CUDAアクセラレーションによるGPU推論やCPUのみのフォールバックモードなど、柔軟なハードウェアサポート。
  • 既存のワークフローへの統合を容易にするPythonフロントエンドとバインディングが含まれています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト