perfanalytics/pose2sim
Markerless kinematics with any cameras — From 2D Pose estimation to 3D OpenSim motion
解決する課題
Pose2Simは、ヒトと動物を対象としたマーカーレス3Dキネマティクスワークフローを提供し、従来のマーカーベースのモーションキャプチャ（MoCap）システムに代わる低コストな選択肢となります。スマートフォン、ウェブカメラ、GoProなどの標準的なハードウェアを使用して研究グレードの3Dモーション解析を可能にし、被験者にマーカーを装着する必要なく、スポーツフィールド、クリニック、屋外など多様な環境でのキャプチャを実現します。
仕組み
このシステムは、2Dポーズ推定データを3Dスケルトン解析に変換します。ワークフローはいくつかの段階で構成されています：
- ポーズ推定：RTMPose（デフォルト）、DeepLabCut、またはOpenPoseなどのレガシーモデルを使用して2Dキーポイントを抽出します。
- キャリブレーションと同期：複数のカメラビューを同期し、カメラの内部パラメータと外部パラメータを計算します。
- 三角測量：異なるカメラビュー間で人物を関連付け、2Dキーポイントを3D座標に三角測量します。
- リファインメント：3D座標をフィルタリングし、マーカーを追加してデータ品質を向上させます。
- キネマティクス：全身の3D関節角度とスケルトン解析を計算し、OpenSimと統合して可視化および解析を行うことができます。
対象ユーザー
- スポーツアナリスト：フィールドベースの3Dモーションキャプチャ用。
- 臨床医：診察室での歩行解析や臨床評価用。
- アニメーター：完全着衣の被験者を屋外で3Dキャプチャするため。
- バイオメカニクス研究者：アクセシブルなハードウェアを使用して複数参加者での研究を行うため。
特長
- 高精度：査読付き研究で検証済み、関節角度誤差2〜6°。
- ハードウェア非依存：スマートフォン、ウェブカメラ、GoProの任意の組み合わせに対応。
- 複数人物対応：複数の人物を同時にビュー間で追跡可能。
- プライバシー重視：ローカルで実行し、データプライバシーとGDPR規則に準拠。
- OpenSim統合：OpenSimまたはBlenderでの完全なスケルトン解析用に.trcおよび.motファイルを生成。
まとめ
標準的なカメラからの2Dポーズ推定を研究グレードの3D関節角度とスケルトン解析に変換する、マーカーレス3Dキネマティクスのためのオープンソースワークフロー。
タイトル
標準ビデオを研究グレードのスケルトンキネマティクスに変換するマーカーレス3Dモーションキャプチャワークフロー
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト