wenbowen123/BundleTrack

[IROS 2021] BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

What it solves

BundleTrack 提供了一种实时跟踪新颖对象 6D 位姿（位置和方向）的方法，无需特定对象或其一般类别的 3D CAD 模型。这消除了对离线训练或基于已有 3D 模型的模板匹配的依赖，而这是大多数 6D 位姿跟踪系统的常见限制。

How it works

该框架结合三个主要组件，以保持时空一致性并减少漂移：

  1. Deep Learning for Segmentation：使用视频分割网络将目标对象从背景中分离。
  2. Robust Feature Extraction：利用深度学习从对象中提取特征。
  3. Memory-Augmented Pose Graph Optimization：对对象的位姿进行时间上的优化，使用记忆系统确保即使在严重遮挡或快速运动时跟踪仍保持稳定。

Who it’s for

此项目面向从事对象跟踪与感知的机器人研究者和开发者，特别是需要在缺乏 3D 模型的动态环境中跟踪未知对象的用户。

Highlights

  • Model-Free Tracking：不需要实例级别或类别级别的 3D CAD 模型。
  • Real-Time Performance：使用基于 CUDA 的实现可实现 10Hz 的处理速度。
  • Robustness：即使在严重遮挡等挑战性场景下，也能长期跟踪且漂移低。
  • Benchmark Proven：在公开基准测试中，超越最先进的类别级别 6D 跟踪和动态 SLAM 方法。