luohongk/SuperVINS

What it solves

SuperVINS は、困難な撮影条件における従来のビジュアル・慣性 SLAM（Simultaneous Localization and Mapping）システムの失敗を解決します。照明の変化や低テクスチャ環境で苦戦するハンドクラフト特徴量抽出とマッチングを、深度学習ベースの手法に置き換えることで、、リアルタイムでの堅牢性と精度を向上させます。

How it works

VINS-Fusion をベースとし、SuperVINS は ONNX Runtime GPU を介して深度学習モデルを統合し、ビジュアル・パイプライン全体を処理します：

• Feature Extraction: Shi-Tomasi 角点ではなく、SuperPoint を使用して学習済みのキーポイントと記述子を検出します。
• Feature Matching: 従来のオプティカルフロー (KLT) の代わりに、LightGlue を用いて学習型マッチングを行います。
• Loop Detection: DBoW3 と SuperPoint 記述子を組み合わせて使用します。
• Loop Verification: SuperPoint と LightGlue のマッチングを PnP RANSAC と組み合わせ、より信頼性の高いループクロージャをループクロージャを検証します。

Who it’s for

このフレームワークは、従来のビジュアル特徴量が不安定な環境において、信頼性の高い自己位置推定と地図作成を行う自律システムを構築するロボット研究者や開発者向けに設計されています。

Highlights

• Deep Learning Integration: 従来のフロントエンドとループクロージャ・モジュールを、SuperPoint と LightGlue で完全に置き換えています。
• Real-Time Performance: ONNX Runtime を使用し、GPU 実行に最適化されています。
• Comprehensive Output: リアルタイム VIO 軌跡、ポーズグラフ最適化された軌跡、および TUM 形式の稠密なループ修正済み軌跡を提供します。
• Docker Support: 事前構築済みの Docker イメージを含んでおり、精密な CUDA と ROS Noetic 依存関係のセットアップを簡法化します。