perfanalytics/pose2sim

何を解決するか

Pose2Sim は、人間や動物向けのマーカーレス3D運動解析ワークフローを提供し、従来のマーカー付きモーションキャプチャ（MoCap）システムの低コスト代替品として機能します。スマートフォン、Webカメラ、GoProなどの標準的なハードウェアを使用して、高精度な3D関節角度と骨格解析を実現しながら、ローカルで実行することでデータのプライバシーを守ることができます。

仕組み

このシステムは、複数のカメラビューからの2Dポーズ推定を、マルチステージパイプラインを通じて3D運動解析に変換します：

1. ポーズ推定：RTMPose（デフォルト）、DeepLabCut、または従来のモデル（OpenPose、AlphaPose）を使用して2Dキーポイントを抽出します。
2. キャリブレーション＆同期：カメラの位置をキャリブレーションし、ビデオフィードを同期します。
3. 三角測量：複数のビュー間で人物を関連付け、2Dキーポイントを3D座標に三角測量します。
4. 運動解析：3Dデータをフィルタリングし、OpenSimを使用して全身の3D関節角度と骨格解析を計算します。

対象ユーザー

• スポーツアナリスト：現場での3Dモーションキャプチャに最適。
• 臨床医：病院の診察室での歩行分析や臨床評価に活用可能。
• アニメーター：完全に衣装を着た被験者の屋外3Dキャプチャに適しています。
• 研究者：複数参加者のバイオメカニクス研究に役立ちます。

特徴

• 研究レベルの精度：関節角度誤差が2–6°と検証済み。
• ハードウェア非依存：スマートフォン、Webカメラ、GoProの任意の組み合わせに対応。
• 複数人対応：遮蔽状況を考慮した複数人の同時追跡が可能。
• ローカル処理：クラウドアップロードを回避し、GDPRやプライバシー規則を遵守。
• OpenSim統合：完全な骨格解析を提供し、OpenSimやBlenderでの可視化に向けた結果をエクスポート可能。