NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

What it solves

Isaac ROS Pose Estimation 提供工具來預測環境中物件的 3D 姿態，這對機器人導航與操作物件至關重要。它解決了準確辨識物件位置與方向的問題——無論是已有預訓練模型的已知物件，或是機器人從未見過的新穎物件。

How it works

此專案由三個專門的 ROS 2 套件組成，使用 GPU 加速的深度學習模型進行推論：

• FoundationPose：利用 3D 包圍立方體尺寸估計新穎（未見）物件的姿態，無需微調。它使用 refine model 迭代改進姿態假設，並使用 score model 完成估計，同時支援跨影格的高效追蹤。
• DOPE (Deep Object Pose Estimation)：使用預訓練模型預測已知物件的姿態。它透過 DNN 推論產生 belief maps，並由 decoder 輸出最終姿態。
• CenterPose：執行物件偵測、產生 2D 關鍵點，並為已知物件類別（例如任意椅子）估計 6-DoF 姿態與相對的 3D 包圍立方體尺寸。

這些套件依賴 NVIDIA Triton 或 TensorRT 進行加速推論，並使用 Isaac ROS DNN Image Encoder 進行前處理。

Who it’s for

適合開發自動化系統的機器人開發者與工程師，需在 NVIDIA 硬體（如 Jetson Thor 或 RTX GPU）上實現精確的 3D 物件感知、導航與操作功能。

Highlights

• 支援新穎物件：FoundationPose 可在不重新訓練的情況下估計與追蹤未見物件的姿態。
• GPU 加速：針對 NVIDIA 硬體使用 TensorRT 與 Triton 進行最佳化，達到高幀率（例如在 Jetson Thor 上追蹤超過 120 FPS）。
• 多樣化模型選項：提供高品質估計（FoundationPose）、成熟可靠（CenterPose）與最高速度（DOPE）之間的選擇。
• 與 ROS 2 整合：設計為可在 ROS 2 節點圖中運作，便於整合至機器人感知管線。