NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

What it solves

Isaac ROS Pose Estimation 提供工具来预测环境中物体的 3D 姿态，这对机器人导航和操作物体至关重要。它解决了准确识别物体位置和方向的问题——无论是已有预训练模型的已知物体，还是机器人从未见过的新颖物体。

How it works

该项目由三个专用的 ROS 2 包组成，使用 GPU 加速的深度学习模型进行推理：

• FoundationPose：利用 3D 包围立方体尺寸估计新颖（未见）物体的姿态，无需微调。它使用 refine model 迭代改进姿态假设，并使用 score model 完成估计，同时支持跨帧的高效跟踪。
• DOPE (Deep Object Pose Estimation)：使用预训练模型预测已知物体的姿态。它通过 DNN 推理产生 belief maps，并由 decoder 输出最终姿态。
• CenterPose：执行物体检测，生成 2D 关键点，并为已知物体类别（例如任意椅子）估计 6-DoF 姿态和相对的 3D 包围立方体尺寸。

这些包依赖 NVIDIA Triton 或 TensorRT 进行加速推理，并使用 Isaac ROS DNN Image Encoder 进行预处理。

Who it’s for

适用于构建需要精确 3D 物体感知、导航和操作能力的自主系统的机器人开发者和工程师，运行在 NVIDIA 硬件（如 Jetson Thor 或 RTX GPU）上。

Highlights

• 支持新颖物体：FoundationPose 可在不重新训练的情况下估计和跟踪未见物体的姿态。
• GPU 加速：针对 NVIDIA 硬件使用 TensorRT 与 Triton 进行优化，达到高帧率（例如在 Jetson Thor 上跟踪超过 120 FPS）。
• 多样化模型选项：提供高质量估计（FoundationPose）、成熟可靠（CenterPose）和最高速度（DOPE）之间的选择。
• 与 ROS 2 集成：设计为可在 ROS 2 节点图中工作，便于集成到机器人感知流水线。