NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

解决的问题

为机器人提供 NVIDIA 加速的 3D 对象姿态估计，使其能够确定环境中对象的位置和方向。该数据对于导航和操作等任务至关重要，因为机器人需要精确知道对象的位置和距离才能与其交互。

工作原理

该项目由三个 ROS 2 包组成，每个包均利用 Triton 或 TensorRT 实现 GPU 加速的深度学习推理：

• isaac_ros_foundationpose：使用 FoundationPose 模型来估计和跟踪未见过的新对象，无需微调。它采用一个精炼模型来迭代改进姿态假设，并使用一个评分模型来最终确定估计结果。
• isaac_ros_dope：使用 Deep Object Pose Estimation (DOPE) 模型来估计已知对象的姿态。需要预训练模型，并使用 DNN 解码器根据置信度图输出姿态。
• isaac_ros_centerpose：使用 CenterPose 模型执行对象检测、生成 2D 关键点，并为已知对象类别（例如检测任意椅子而非特定实例）估计 6-DoF 姿态。

适用人群

需要在实时环境中进行精确 3D 对象定位和跟踪的移动机器人或机械臂感知系统开发者。

主要亮点

• 支持新对象：FoundationPose 可在无需重新训练的情况下，对系统从未见过的对象进行姿态估计和跟踪。
• 高速追踪：在 Jetson Thor 平台上，FoundationPose 的追踪速度可超过 120 FPS。
• 灵活的模型选项：提供多种节点以满足不同需求，在速度、质量与成熟度之间取得平衡。
• 硬件加速：完全针对 NVIDIA GPU 和 Jetson 平台，使用 TensorRT 和 Triton 进行优化。