GREAT-WHU/MASt3R-Fusion

What it solves

MASt3R-Fusion 解決了在大規模環境中建立高精度、強健的 3D 感知與地圖構建（SLAM）的挑戰。它特別透過將基於深度學習的點圖回歸與多感測器數據整合，解決了單目視覺慣性系統中維持度量尺度（metric scale）與全域一致性（global consistency）的問題。

How it works

該系統將用於點圖回歸的前饋視覺模型（基於 MASt3R）與來自慣性測量單元（IMU）和全球導航衛星系統（GNSS）的數據進行緊密整合。它採用了即時滑動窗口追蹤機制，並結合了因子圖（透過修改後的 GTSAM 實現）進行全域一致性優化。該流程包含迴圈檢測（loop closure detection）以處理跨時間數據關聯，並支援自動校準內參與位姿。

Who it’s for

此專案是為從事機器人、自動駕駛車輛以及需要精確、大規模空間感知與多感測器融合的 3D 地圖構建應用之研究人員與工程師所設計的。

Highlights

• Multi-Sensor Fusion: 緊密整合視覺數據與 IMU 和 GNSS，以提升強健性與度量尺度。
• Global Consistency: 結合了即時追蹤、全域優化與迴圈檢測。
• Efficient Memory Usage: 僅需 8 GB GPU 記憶體即可處理任意長度的序列。
• Full-View Depth: 為整個視野提供全面的深度估計。
• Auto Calibration: 支援相機內參與位姿的聯合優化。