NVlabs/GEM-X

解决的问题

GEM-X 解决了从图像和视频中准确估计3D人体姿态的需求，将身体姿态、手部姿态和时间身体运动结合在一个统一框架中。传统方法通常需要单独的模型和流程；GEM-X 为这些任务提供了用于推理、训练和评估的单一代码库，降低了机器人、AR/VR 和视频分析等应用的复杂性。

工作原理

该框架由三个模型组成：身体姿态和手部姿态从单张图像重建3D几何，而身体运动使用时间上下文从单目视频估计相机空间和世界空间的人体运动。所有模型都依赖 SOMA 几何。有四种推理模式：pose-image、pose-video、motion-video 和 motion-cache，它们处理不同的输入类型和处理需求。训练和微调工作流在任务间共享，每个模型都有预训练检查点。流程包括可选组件，如人物检测、手部跟踪和接触/IK 后处理。

适用人群

从事人体姿态估计、机器人（包括向 Unitree G1 等机器人进行运动重定向）、AR/VR、视频理解以及姿态估计系统的生产部署的研究人员和开发者。README 还强调了与 NVIDIA AI for Media 的集成，以实现可扩展部署。

亮点

• 统一框架，包含三个模型和四种推理模式，用于身体姿态、手部姿态和身体运动。
• 单图像身体和手部重建，以及从单目视频的时间身体运动。
• 灵活的手部输入：提供的框或 RT-DETR 检测、ego/exo 处理配置文件、跟踪和平滑。
• 机器人展示：使用 SOMA Retargeter 向 Unitree G1 进行运动重定向。
• 支持所有三个模型的训练和微调，每个模型都有预训练权重。
• 使用标准基准（MPJPE、PA-MPJPE、PVE）和原生手部指标进行评估。
• 添加了 ONNX/TensorRT 加速（截至 2025-06）。
• Apache 2.0 许可证，带有逐文件例外。