perfanalytics/pose2sim

解決的問題

Pose2Sim 提供人類與動物用的無標記3D運動學工作流程，作為傳統標記式動作捕捉（MoCap）系統的低成本替代方案。使用者可使用智慧型手機、網路攝影機或GoPro等標準硬體，捕捉高精度的3D關節角度與骨骼分析，同時透過在地執行來保障資料隱私。

作法

系統透過多階段流程，將多個鏡頭視角的2D姿態估計轉換為3D運動學資料：

1. 姿態估計：使用RTMPose（預設）、DeepLabCut或舊版模型（OpenPose、AlphaPose）提取2D關鍵點。
2. 校準與同步：校準鏡頭位置並同步影片串流。
3. 三角測量：在不同視角間關聯人物，並將2D關鍵點三角化為3D座標。
4. 運動學分析：對3D資料進行濾波，並使用OpenSim計算全身3D關節角度與骨骼分析。

適用對象

• 運動分析師：適用於現場3D動作捕捉。
• 臨床醫師：適用於診所內的步態分析與臨床評估。
• 動畫師：適用於完全著裝對象的戶外3D捕捉。
• 研究人員：適用於涉及多名參與者的生物力學研究。

主要特色

• 研究級準確度：經驗證的關節角度誤差為2–6°。
• 硬體無關：支援任意組合的手機、網路攝影機或GoPro。
• 多人支援：可同時追蹤多人，並具備遮蔽處理能力。
• 本地處理：避免上傳至雲端，符合GDPR與隱私規範。
• 與OpenSim整合：提供完整的骨骼分析，並可匯出結果用於OpenSim或Blender可視化。