wenbowen123/BundleTrack

[IROS 2021] BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

What it solves

BundleTrack은 특정 객체나 일반 카테고리의 3D CAD 모델을 필요로 하지 않고, 새로운 객체의 6D 포즈(위치와 방향)를 실시간으로 추적하는 방법을 제공합니다. 이를 통해 기존 3D 모델에 기반한 오프라인 학습이나 템플릿 매칭에 대한 의존성을 없애며, 대부분의 6D 포즈 트래킹 시스템에서 흔히 겪는 제한을 해소합니다.

How it works

이 프레임워크는 시공간 일관성을 유지하고 드리프트를 감소시키기 위해 세 가지 주요 구성 요소를 결합합니다:

  1. Deep Learning for Segmentation: 비디오 세그멘테이션 네트워크를 사용해 대상 객체를 배경으로부터 분리합니다.
  2. Robust Feature Extraction: 딥러닝을 활용해 객체로부터 특징을 추출합니다.
  3. Memory-Augmented Pose Graph Optimization: 메모리 시스템을 이용해 시간에 따라 객체의 포즈를 최적화하고, 큰 가림이나 빠른 객체 움직임이 있을 때도 트래킹이 안정적으로 유지되도록 합니다.

Who it’s for

이 프로젝트는 3D 모델을 사용할 수 없는 동적 환경에서 알려지지 않은 객체를 추적해야 하는 로봇 연구자 및 개발자를 위해 설계되었습니다.

Highlights

  • Model-Free Tracking: 인스턴스 수준 또는 카테고리 수준의 3D CAD 모델이 필요 없습니다.
  • Real-Time Performance: CUDA 기반 구현으로 10Hz의 처리 속도를 달성합니다.
  • Robustness: 큰 가림과 같은 어려운 상황에서도 낮은 드리프트로 장기 추적이 가능합니다.
  • Benchmark Proven: 공개 벤치마크에서 최첨단 카테고리 수준 6D 트래킹 및 동적 SLAM 방법을 능가합니다.