wenbowen123/BundleTrack

[IROS 2021] BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

What it solves

BundleTrack 提供了一種即時追蹤新穎物件 6D 姿態（位置與方向）的方法，無需特定物件或其一般類別的 3D CAD 模型。這消除了對離線訓練或基於既有 3D 模型的模板匹配的依賴，而這是大多數 6D 姿態追蹤系統的常見限制。

How it works

此框架結合三個主要元件，以維持時空一致性並減少漂移：

  1. Deep Learning for Segmentation：使用影片分割網路將目標物件從背景中分離。
  2. Robust Feature Extraction：利用深度學習從物件中提取特徵。
  3. Memory-Augmented Pose Graph Optimization：對物件姿態進行時間上的優化，使用記憶體系統確保即使在嚴重遮擋或快速運動時追蹤仍保持穩定。

Who it’s for

此專案設計給從事物件追蹤與感知的機器人研究者與開發者，特別是需要在缺乏 3D 模型的動態環境中追蹤未知物件的使用者。

Highlights

  • Model-Free Tracking：不需要實例層級或類別層級的 3D CAD 模型。
  • Real-Time Performance：使用基於 CUDA 的實作可達 10Hz 的處理速度。
  • Robustness：即使在嚴重遮擋等挑戰性情境下，也能長期追蹤且漂移低。
  • Benchmark Proven：在公開基準測試中，超越最先進的類別層級 6D 追蹤與動態 SLAM 方法。