GREAT-WHU/MASt3R-Fusion

What it solves

MASt3R-Fusion은 대규모 환경을 위한 고정밀, 견고한 3D 인식 및 매핑(SLAM) 구축 과제를 해결합니다. 특히 딥러닝 기반의 포인트맵 회귀와 멀티 센서 데이터를 통합하여 단안 시각 관성 시스템에서 미터법 스케일(metric scale)과 전역 일관성(global consistency)을 유지하는 문제를 해결합니다.

How it works

이 시스템은 포인트맵 회귀를 위한 피드포ワード 시각 모델(MASt3R 기반)을 관성 측정 장치(IMU) 및 글로벌 위성 항법 시스템(GNSS) 데이터와 긴밀하게 통합합니다. 실시간 슬라이딩 윈도우 추적 메커니즘과 팩터 그래프(수정된 GTSAM을 통해 구현)를 결합하여 전역적으로 일관된 최적화를 수행합니다. 파이프라인에는 시계열 데이터 연관을 처리하기 위한 루프 폐쇄 탐지(loop closure detection)가 포함되어 있으며, 내부 파라미터 및 포즈의 자동 교정(automatic calibration)을 지원합니다.

Who it’s for

이 프로젝트는 정밀한 대규모 공간 인식과 멀티 센서 융합이 필요한 로보틱스, 자율 주행 차량 및 3D 매핑 애플리케이션 분야의 연구자와 엔지니어를 위해 설계되었습니다.

Highlights

• Multi-Sensor Fusion: 시각 데이터와 IMU 및 GNSS를 긴밀하게 통합하여 견고성과 미터법 스케일을 향상시킵니다.
• Global Consistency: 실시간 추적을 전역 최적화 및 루프 폐쇄 탐지와 결합합니다.
• Efficient Memory Usage: 단 8 GB의 GPU 메모리만으로 임의의 길이의 시퀀스를 처리할 수 있습니다.
• Full-View Depth: 전체 시야에 대해 포괄적인 깊이 추정을 제공합니다.
• Auto Calibration: 카메라 내부 파라미터와 포즈의 공동 최적화를 지원합니다.