GREAT-WHU/MASt3R-Fusion

它解决了什么问题

MASt3R-Fusion 解决了在大规模环境中创建高精度、鲁棒的3D感知与地图构建（SLAM）的挑战。它通过将基于深度学习的点云回归与多传感器数据融合，特别解决了单目视觉-惯性系统中保持度量尺度和全局一致性的问题。

它如何工作

该系统将基于 MASt3R 的前馈视觉模型（用于点云回归）与惯性测量单元（IMU）和全球导航卫星系统（GNSS）的数据紧密集成。它采用实时滑动窗口跟踪机制，并结合因子图（通过修改版 GTSAM 实现）进行全局一致性的优化。该流程包括回环检测以处理跨时间的数据关联，并支持相机内参和位姿的自动校准。

适用于谁

本项目专为从事机器人、自动驾驶车辆和3D地图构建应用的研究人员与工程师设计，适用于需要精确、大规模空间感知和多传感器融合的场景。

主要亮点

• 多传感器融合：将视觉数据与 IMU 和 GNSS 紧密集成，提升鲁棒性和度量尺度。
• 全局一致性：结合实时跟踪与全局优化及回环检测。
• 高效内存使用：仅使用 8 GB GPU 内存即可处理任意长序列。
• 全视角深度：为整个视场提供全面的深度估计。
• 自动校准：支持相机内参与位姿的联合优化。