NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

何を解決するか

ロボット向けにNVIDIAアクセラレーテッド3Dオブジェクトポーズ推定を提供し、環境内のオブジェクトの位置と向きを特定できるようにします。このデータは、ナビゲーションや操作といったタスクにおいて、オブジェクトの正確な位置と距離を把握する必要があるため不可欠です。

動作方法

本プロジェクトは、TritonまたはTensorRTによるGPUアクセラレーションを活用した深層学習推論を行うROS 2パッケージ3つから構成されています。

• isaac_ros_foundationpose: FoundationPoseモデルを使用して、微調整を必要とせずに未確認の新規オブジェクトのポーズを推定・追跡します。反復的にポーズ仮説を改善するリファインモデルと、推定を最終的に確定するスコアモデルを採用しています。
• isaac_ros_dope: Deep Object Pose Estimation (DOPE)モデルを使用して、既知のオブジェクトのポーズを推定します。事前に学習されたモデルが必要で、DNNデコーダーを使用して信念マップに基づいてポーズを出力します。
• isaac_ros_centerpose: CenterPoseモデルを使用して、オブジェクト検出、2Dキーポイント生成、および既知のオブジェクトクラス（例：特定の椅子ではなく「椅子」全体）の6-DoFポーズ推定を実行します。

対象ユーザー

リアルタイムでの正確な3Dオブジェクトの局所化と追跡を必要とするモバイルロボットやロボットアームのためのセンシングシステムを開発するロボティクス開発者。

特徴

• 新規オブジェクト対応: FoundationPoseにより、再トレーニングなしでシステムが一度も見たことのないオブジェクトのポーズ推定と追跡が可能。
• 高速追跡: Jetson Thorプラットフォーム上でFoundationPoseの追跡は120 FPSを超える可能性があります。
• 柔軟なモデル選択: 速度、品質、成熟度のバランスを考慮した、さまざまなニーズに応じたノードを提供。
• ハードウェアアクセラレーション: TensorRTおよびTritonを活用し、NVIDIA GPUおよびJetsonプラットフォームに完全最適化されています。