NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

解決的問題

提供 NVIDIA 加速的 3D 物件姿態估計，讓機器人能精確判斷環境中物件的位置與方向。此資料對於導航與操作等任務至關重要，因為機器人必須清楚知道物件的位置與距離，才能與其互動。

工作原理

本專案由三個 ROS 2 套件組成，每個套件皆利用 Triton 或 TensorRT 進行 GPU 加速的深度學習推論：

• isaac_ros_foundationpose：使用 FoundationPose 模型來估計與追蹤未曾見過的新物件，無需微調。它採用精煉模型迭代改善姿態假設，並使用評分模型最終確認估計結果。
• isaac_ros_dope：使用 Deep Object Pose Estimation (DOPE) 模型來估計已知物件的姿態。需預先訓練模型，並使用 DNN 解碼器根據信念圖輸出姿態。
• isaac_ros_centerpose：使用 CenterPose 模型執行物件檢測、產生 2D 關鍵點，並為已知物件類別（例如檢測任意椅子而非特定實例）估計 6-DoF 姿態。

適用對象

需要在即時環境中進行精確 3D 物件定位與追蹤的移動機器人或機械手臂感知系統開發者。

主要亮點

• 支援新物件：FoundationPose 可在無需重新訓練的情況下，對系統從未見過的物件進行姿態估計與追蹤。
• 高速追蹤：在 Jetson Thor 平台上，FoundationPose 的追蹤速度可超過 120 FPS。
• 彈性模型選項：提供多種節點以滿足不同需求，在速度、品質與成熟度之間取得平衡。
• 硬體加速：完全針對 NVIDIA GPU 與 Jetson 平台，使用 TensorRT 與 Triton 進行最佳化。