NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation
Deep learned, NVIDIA-accelerated 3D object pose estimation
What it solves
Isaac ROS Pose Estimation は、環境中のオブジェクトの 3D 姿勢を予測するツールを提供します。これはロボットが物体をナビゲートし操作するために不可欠です。既存の事前学習モデルを持つ既知オブジェクトでも、ロボットが一度も見たことのない新規オブジェクトでも、位置と向きを正確に特定する課題を解決します。
How it works
本プロジェクトは、GPU 加速ディープラーニングモデルを用いた 3 つの専用 ROS 2 パッケージで構成されています。
- FoundationPose：3D バウンディングキュボイドのサイズを用いて、未見（新規）オブジェクトの姿勢を推定します。微調整不要で、refine model により姿勢仮説を反復的に改善し、score model で最終推定を行います。また、フレーム間の効率的な追跡もサポートします。
- DOPE (Deep Object Pose Estimation)：事前学習済みモデルを使用して既知オブジェクトの姿勢を予測します。DNN 推論で生成された belief map をデコーダが処理し、最終姿勢を出力します。
- CenterPose：オブジェクト検出を行い、2D キーポイントを生成し、既知クラス（例：特定のインスタンスに依存しない椅子）の 6-DoF 姿勢と相対的な 3D バウンディングキュボイドサイズを推定します。
これらのパッケージは NVIDIA Triton または TensorRT による高速推論と、Isaac ROS DNN Image Encoder による前処理に依存しています。
Who it’s for
NVIDIA ハードウェア（Jetson Thor や RTX GPU など）上で、正確な 3D オブジェクト認識、ナビゲーション、操作機能を必要とする自律システムを構築するロボティクス開発者・エンジニア向けです。
Highlights
- 新規オブジェクトへの対応：FoundationPose は再学習なしで未見オブジェクトの姿勢推定と追跡を可能にします。
- GPU 加速：TensorRT と Triton を活用し NVIDIA ハードウェア向けに最適化、Jetson Thor での追跡は 120 FPS 超など高フレームレートを実現。
- 多様なモデル選択肢：高品質推定（FoundationPose）、信頼性の高い既存手法（CenterPose）、最高速度（DOPE）から選択可能。
- ROS 2 との統合：ROS 2 ノードグラフ内で動作するよう設計され、ロボット認知パイプラインへのシームレスな統合が可能です。