NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

해결하는 문제

로봇을 위한 NVIDIA 가속 3D 객체 자세 추정을 제공하여 환경 내 객체의 위치와 방향을 정확히 파악할 수 있도록 합니다. 이 데이터는 로봇이 객체를 상호작용하기 위해 정확히 어디에 있는지, 얼마나 멀리 있는지를 알고 있어야 하는 태스크(예: 내비게이션 및 조작)에 필수적입니다.

작동 방식

본 프로젝트는 Triton 또는 TensorRT를 통해 GPU 가속을 활용하는 딥러닝 추론을 수행하는 ROS 2 패키지 3개로 구성되어 있습니다.

• isaac_ros_foundationpose: 미리 학습된 모델 없이도 새로운, 본 적 없는 객체의 자세를 추정하고 추적합니다. 반복적으로 자세 가설을 개선하는 리파인 모델과 추정을 최종적으로 결정하는 스코어 모델을 사용합니다.
• isaac_ros_dope: Deep Object Pose Estimation (DOPE) 모델을 사용하여 기존에 알고 있는 객체의 자세를 추정합니다. 사전 학습된 모델이 필요하며, 신뢰도 맵 기반으로 DNN 디코더를 통해 자세를 출력합니다.
• isaac_ros_centerpose: CenterPose 모델을 사용하여 객체 탐지, 2D 키포인트 생성, 그리고 특정 클래스(예: 특정 의자 대신 '의자' 전체)에 대한 6-DoF 자세 추정을 수행합니다.

대상 사용자

실시간으로 정확한 3D 객체 위치 및 추적 기능이 필요한 모바일 로봇 또는 로봇 팔을 위한 인지 시스템을 개발하는 로봇 개발자들입니다.

주요 특징

• 새로운 객체 지원: FoundationPose는 재학습 없이 시스템이 처음 보는 객체의 자세 추정과 추적을 가능하게 합니다.
• 고속 추적: Jetson Thor 플랫폼에서 FoundationPose의 추적 속도는 120 FPS를 초과할 수 있습니다.
• 유연한 모델 옵션: 속도, 품질, 성숙도를 균형 있게 고려한 다양한 노드를 제공합니다.
• 하드웨어 가속: TensorRT 및 Triton을 활용하여 NVIDIA GPU 및 Jetson 플랫폼에 완전히 최적화되어 있습니다.