yangtiming/Fast-SAM-3D-Body

解决的问题

Fast SAM 3D Body 解决了原始 SAM 3D Body (3DB) 框架推理延迟过高的问题，该框架每张图像需要数秒的处理时间。这种延迟使其无法用于人形机器人控制或交互式动作追踪等实时应用场景。

运作原理

这是一个无需训练的加速框架，通过以下几种技术优化了 3DB 的推理路径：

• 并行化 (Parallelization)：解耦序列空间依赖性，实现并行多裁剪特征提取与简化的 transformer 解码。
• 剪枝 (Pruning)：应用架构感知剪枝以减少计算开销。
• 硬件加速 (Hardware Acceleration)：利用 torch.compile 和 TensorRT 来优化模型执行。
• 神经映射 (Neural Mapping)：以直接前馈神经映射取代缓慢的迭代网格拟合过程 (MHR-to-SMPL)，使该特定步骤的速度提升超过 10,000 倍。

适用对象

本项目专为从事 3D 人体网格恢复、计算机视觉与机器人技术的研究人员与开发者设计，特别是那些需要从单一 RGB 摄像头流进行实时全身追踪的用户。

特色亮点

• 显著加速：相较于原始 SAM 3D Body，端到端速度提升高达 10.9 倍。
• 实时性能：在 NVIDIA RTX 5090 上实现了约每帧 65 ms 的端到端延迟，支持人形机器人控制。
• 高保真度：保持与原始 3DB 相当的重建准确度，并在 LSPET 等特定基准测试中表现更佳。
• 机器人整合：展示了在纯视觉远程操作以及人形机器人操作策略收集方面的实用性。