luohongk/SuperVINS

What it solves

SuperVINS는 까다로운 영상 조건에서 기존의 시각-관성 SLAM(Simultaneous Localization and Mapping) 시스템이 실패하는 문제를 해결합니다. 조명 변화나 저텍스처 환경에서 어려움을 겪는 수동 특징점 추출 및 매칭 방식을 딥러닝 기반 방식으로 대체하여 실시간 성능과 정확도를 향상시킵니다.

How it works

SuperVINS는 VINS-Fusion을 기반으로 구축되었으며, ONNX Runtime GPU를 통해 딥러닝 모델을 통합하여 전체 시각적 파이프라인을 처리합니다:

• Feature Extraction: Shi-Tomasi 코너 대신 SuperPoint를 사용하여 학습된 키포인트와 기술자를 검출합니다.
• Feature Matching: 전통적인 광학 흐름(KLT) 대신 LightGlue를 사용하여 학습된 매칭을 수행합니다.
• Loop Detection: DBoW3와 SuperPoint 기술자를 결합하여 사용합니다.
• Loop Verification: SuperPoint와 LightGlue 매칭을 PnP RANSAC와 결합하여 루프 클로저를 더욱 신뢰성 있게 검증합니다.

Who it’s for

이 프레임워크는 전통적인 시각적 특징점이 불안정한 환경에서 신뢰할 수 있는 위치 추정 및 지도 작성을 수행해야 하는 자율 시스템을 구축하는 로봇 공학 연구자 및 개발자를 위해 설계되었습니다.

Highlights

• Deep Learning Integration: 기존의 프론트엔드 및 루프 클로저 모듈을 SuperPoint 및 LightGlue로 완전히 대체합니다.
• Real-Time Performance: リアルタイム性能 (Real-Time Performance) is optimized for GPU execution using ONNX Runtime.
• Comprehensive Output: 실시간 VIO 궤적, 포즈 그래프 최적화된 궤적, 그리고 TUM 형식의 조밀한 루프 수정 궤적을 제공합니다.
• Docker Support: CUDA 및 ROS Noetic 의존성을 간편하게 설정할 수 있도록 사전 빌드된 Docker 이미지를 포함합니다.