AmmarkoV/SAM3DBody-cpp
Real-time 3D full-body reconstruction from a single camera, Multiperson BVH output, Pure C++ runtime, ONNX + ggml, 70-joint skeleton with hands.
解决的问题
本项目提供了一个高性能C++引擎,用于从单目视频中进行3D人体姿态估计。它消除了运行时对Python的需求,使开发者能够直接从标准2D图像中提取3D身体参数、相机平移和全身网格,无需深度传感器或多相机设置。
工作原理
该流水线使用深度学习方法直接从图像特征回归3D身体参数。首先,YOLO模型检测帧中的人物。随后,DINOv2-ViT-H骨干网络将这些裁剪区域处理为空间特征图,Transformer解码器将其压缩为姿态Token。最后,专用头部计算姿态、形状和相机参数,并通过线性混合蒙皮 (LBS) 生成3D网格。
适用对象
专为需要在C++应用程序、ROS环境或性能敏感流水线中集成3D动作捕捉或化身动画的开发者和研究人员设计。对于需要将运动数据导出为BVH(如Blender)或MPEG ARF等格式以进行化身表示的用户特别有用。
亮点
- 核心C++推理引擎在运行时零Python依赖。
- 支持多人跟踪和动作捕捉导出至标准BVH文件。
- 支持MPEG化身表示格式 (ARF),用于完整网格和动画流式传输。
- 灵活的硬件支持,包括CUDA加速的GPU推理和仅CPU回退模式。
- 包含Python前端和绑定,便于集成到现有工作流中。
相关
- 项目
- 项目
- 项目
- 项目
- 项目