NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation
Deep learned, NVIDIA-accelerated 3D object pose estimation
What it solves
Isaac ROS Pose Estimation 은 환경 내 객체의 3D 자세를 예측하는 도구를 제공합니다. 이는 로봇이 물체를 탐색하고 조작하는 데 필수적입니다. 사전 학습된 모델이 있는 알려진 객체든, 로봇이 한 번도 본 적 없는 새로운 객체든, 위치와 방향을 정확히 식별하는 문제를 해결합니다.
How it works
이 프로젝트는 GPU 가속 딥러닝 모델을 사용한 세 개의 특화된 ROS 2 패키지로 구성됩니다:
- FoundationPose: 3D 바운딩 큐보이드 차원을 이용해 새로운(보지 못한) 객체의 자세를 추정합니다. 미세 조정 없이도 refine model 로 자세 가설을 반복적으로 개선하고, score model 로 최종 추정을 완료합니다. 또한 프레임 간 효율적인 객체 추적을 지원합니다.
- DOPE (Deep Object Pose Estimation): 사전 학습된 모델을 사용해 알려진 객체의 자세를 예측합니다. DNN 추론으로 생성된 belief map 을 디코더가 처리해 최종 자세를 출력합니다.
- CenterPose: 객체 탐지를 수행하고 2D 키포인트를 생성하며, 알려진 객체 클래스(예: 특정 인스턴스와 무관한 모든 의자)에 대해 6-DoF 자세와 상대적인 3D 바운딩 큐보이드 차원을 추정합니다.
이 패키지들은 NVIDIA Triton 또는 TensorRT 를 통한 가속 추론과 Isaac ROS DNN Image Encoder 를 이용한 전처리에 의존합니다.
Who it’s for
NVIDIA 하드웨어(Jetson Thor 또는 RTX GPU 등) 위에서 정밀한 3D 객체 인식, 내비게이션 및 조작 기능이 필요한 자율 시스템을 구축하는 로봇 개발자와 엔지니어를 위한 것입니다.
Highlights
- 새로운 객체 지원: FoundationPose 는 재학습 없이도 보지 못한 객체의 자세 추정 및 추적을 가능하게 합니다.
- GPU 가속: TensorRT와 Triton을 활용해 NVIDIA 하드웨어에 최적화되어 높은 프레임 레이트(예: Jetson Thor에서 추적 시 120 FPS 이상)를 달성합니다.
- 다양한 모델 옵션: 고품질 추정(FoundationPose), 검증된 신뢰성(CenterPose), 최고 속도(DOPE) 중 선택할 수 있습니다.
- ROS 2와 통합: ROS 2 노드 그래프 내에서 동작하도록 설계되어 로봇 인식 파이프라인에 원활히 통합할 수 있습니다.