wenbowen123/BundleTrack

[IROS 2021] BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

What it solves

BundleTrack は、特定のオブジェクトやその一般的なカテゴリの 3D CAD モデルを必要とせずに、新規オブジェクトの 6D ポーズ（位置と向き）をリアルタイムで追跡する方法を提供します。これにより、既存の 3D モデルに依存したオフライン学習やテンプレートマッチングが不要となり、ほとんどの 6D ポーズ追跡システムで見られる制約を取り除きます。

How it works

このフレームワークは、時空間的一貫性を保ちドリフトを低減するために、以下の 3 つの主要コンポーネントを組み合わせています：

  1. Deep Learning for Segmentation：ビデオセグメンテーションネットワークを使用して、対象オブジェクトを背景から分離します。
  2. Robust Feature Extraction：ディープラーニングを活用してオブジェクトから特徴を抽出します。
  3. Memory-Augmented Pose Graph Optimization：メモリシステムを用いて時間経過に伴うオブジェクトのポーズを最適化し、重大な遮蔽や高速なオブジェクト動作時でも追跡が安定するようにします。

Who it’s for

本プロジェクトは、ロボティクス研究者や開発者で、3D モデルが入手できない動的環境において未知のオブジェクトを追跡する必要がある方を対象としています。

Highlights

  • Model-Free Tracking：インスタンスレベルまたはカテゴリレベルの 3D CAD モデルは不要です。
  • Real-Time Performance：CUDA ベースの実装により 10Hz の処理速度を実現します。
  • Robustness：大きな遮蔽などの挑戦的なシナリオでも、低ドリフトで長期追跡が可能です。
  • Benchmark Proven：公開ベンチマークにおいて、最先端のカテゴリレベル 6D 追跡および動的 SLAM 手法を上回ります。