perfanalytics/pose2sim

解决的问题

Pose2Sim 提供了一种针对人类和动物的无标记3D运动学工作流，作为传统标记式动作捕捉（MoCap）系统的低成本替代方案。用户可以使用智能手机、网络摄像头或GoPro等标准硬件，捕获高精度的3D关节角度和骨骼分析结果，同时通过本地运行保障数据隐私。

工作原理

该系统通过多阶段流程，将多视角摄像头的2D姿态估计转换为3D运动学数据：

1. 姿态估计：使用RTMPose（默认）、DeepLabCut或旧版模型（OpenPose、AlphaPose）提取2D关键点。
2. 标定与同步：校准摄像头位置并同步视频流。
3. 三角测量：在不同视角间关联人物，并将2D关键点三角化为3D坐标。
4. 运动学分析：对3D数据进行滤波，并使用OpenSim计算全身3D关节角度和骨骼分析。

适用人群

• 体育分析师：适用于现场3D动作捕捉。
• 临床医生：适用于诊室内的步态分析和临床评估。
• 动画师：适用于完全着装人员的户外3D捕捉。
• 研究人员：适用于涉及多名参与者的生物力学研究。

核心亮点

• 研究级精度：经验证的关节角度误差为2–6°。
• 硬件无关：支持任意组合的手机、网络摄像头或GoPro。
• 多人体支持：可同时追踪多人，并具备遮挡处理能力。
• 本地处理：避免上传云端，符合GDPR和隐私保护规范。
• 与OpenSim集成：提供完整的骨骼分析，并可导出结果用于OpenSim或Blender可视化。