perfanalytics/pose2sim
Markerless kinematics with any cameras — From 2D Pose estimation to 3D OpenSim motion
解决的问题
Pose2Sim 为人类和动物提供无标记 3D 运动学工作流程，是传统基于标记的运动捕捉（MoCap）系统的低成本替代方案。它允许使用智能手机、网络摄像头或 GoPro 等标准硬件进行研究级 3D 运动分析，无需受试者佩戴标记即可在运动场、诊所或户外等多种环境中进行捕捉。
工作原理
该系统将 2D 姿态估计数据转换为 3D 骨骼分析。工作流程包括几个阶段：
- 姿态估计：使用 RTMPose（默认）、DeepLabCut 或 OpenPose 等传统模型提取 2D 关键点。
- 标定与同步：同步多个相机视图并计算相机内外参数。
- 三角测量：关联不同相机视图中的个体，并将 2D 关键点三角化为 3D 坐标。
- 细化：过滤 3D 坐标并增加标记点以提高数据质量。
- 运动学：计算全身 3D 关节角度和骨骼分析，可与 OpenSim 集成以进行可视化和分析。
适用人群
- 运动分析师：用于基于场地的 3D 运动捕捉。
- 临床医生：用于在诊室中进行步态分析和临床评估。
- 动画师：用于户外捕捉穿着完整衣物的受试者的 3D 数据。
- 生物力学研究人员：使用易于获取的硬件进行多参与者研究。
亮点
- 高精度：经过同行评审研究验证，关节角度误差为 2-6°。
- 硬件无关：兼容手机、网络摄像头或 GoPro 的任意组合。
- 多人支持：能够同时跨视图跟踪多人。
- 注重隐私：本地运行，符合数据隐私和 GDPR 规定。
- OpenSim 集成：生成 .trc 和 .mot 文件，用于 OpenSim 或 Blender 中的完整骨骼分析。
相关
- 项目
- 项目
- 项目
stereolabs/zed-ros2-wrapperStereolabs ZED 深度摄像头的官方 ROS 2 包装器，支持图像、深度、点云、SLAM、物体检测、人体追踪、GNSS 融合及仿真。可在 Ubuntu 上安装 ZED SDK 和 CUDA，通过 `ros2 launch zed_wrapper zed_camera.launch.py` 启动。
- 项目
Tau-J/rtmlibrtmlib 是一个轻量级 Python 库，用于人体和动物姿态估计，封装了 RTMPose 和 ViTPose 模型。它避免了重型 OpenMMLab 依赖，仅需 numpy、OpenCV 和 ONNX Runtime（支持可选 GPU/加速器后端）。该包提供高阶解决方案类（Wholebody、Body、Hand、Animal、Custom、Wholebody3d），结合检测器（YOLOX、RFDETR、RTMDet）和姿态估计器，并附带骨架绘制工具。模型可自动从 OpenMMLab 或 HuggingFace 镜像下载。可通过 pip 或源码安装，并运行 Gradio WebUI 或使用 Python API 进行单图、视频或摄像头推理。
- 项目
emilianavt/OpenSeeFaceOpenSeeFace 是一个开源、仅使用 CPU 的面部特征点追踪器（66 个点），基于导出为 ONNX 的 MobileNetV3 模型构建。它通过 UDP 流传输特征点、视线和眨眼数据，用于 Unity、Godot、VSeeFace 等软件中的实时虚拟角色动画。多种模型尺寸让您可以在速度（最高 213 fps）与准确度之间取得平衡。该项目包含用于接收数据、可视化特征点、驱动 IK 以及训练小型基于 SVM 表情分类器的 Unity 组件。它在低光、噪声和部分遮挡下表现稳健，但眼部区域的精度一般，且以 30 fps 追踪单一人脸可能会占用一个完整的 CPU 核心。采用 BSD-2-clause 授权。