luohongk/SuperVINS

📖[IEEE Sensors Journal (JSEN) ] SuperVINS: A Real-Time Visual-Inertial SLAM Framework for Challenging Imaging Conditions (integrated deep learning features)

What it solves

SuperVINS 解决了传统视觉-惯性 SLAM(Simultaneous Localization and Mapping)系统在挑战性成像条件下的失效问题。它将经常在光照变化或低纹理环境下难以处理的特征提取与匹配——即手工特征——替换为基于深度学习的方法,以提高实时性和准确性。

How it works

基于 VINS-Fusion 骨架,SuperVINS 通过 ONNX Runtime GPU 集成了深度学习模型,以处理整个视觉管线:

  • Feature Extraction: 使用 SuperPoint 来检测学习到的关键点和描述符,而不是 Shi-Tomasi 角点。
  • Feature Matching: 采用 LightGlue 进行学习型匹配,而不是传统的流法 (KLT)。
  • Loop Detection: 利用 DBoW3 结合 SuperPoint 描述符。
  • Loop Verification: 将 SuperPoint 和 LightGlue 匹配与 P-N-P RANSAC 结合,以更可靠地更可靠地验证闭环。

Who it’s for

该框架是为机器人研究人员和开发者设计的,旨在为在传统视觉特征不稳定环境下需要可靠的可靠的定位与建图系统构建者提供支持。

Highlights

  • Deep Learning Integration: 完全替换了传统的 front-end 和 loop closure 模块,改用 SuperPoint 和 LightGlue。
  • Real-Time Performance: 针对 GPU 执行进行了优化,使用 ONNX Runtime。
  • Comprehensive Output: 提供实时 VIO 轨迹、位姿图优化后的轨迹,以及 TUM 格式的稠密闭环修正轨迹。
  • Docker Support: 包含一个预构建的 Docker 镜像,以简化 CUDA 和 ROS Noetic 依赖项的设置。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目