luigifreda/pyslam

它解决了什么问题

pySLAM 为视觉同步定位与地图构建 (SLAM) 提供了一个模块化且可扩展的框架。它通过将广泛的局部与全局特征、深度预测模型以及语义分割工具集成到单一、可互操作的 Python/C++ 环境中，解决了原型设计与实验不同 VO/SLAM 技术的复杂性。

运作方式

该项目实现了一个支持单目、双目和 RGBD 相机的混合管线。它具有一个模块化的稀疏 SLAM 核心，同时提供 Python（灵活性）和 C++（性能）版本，且地图可在两者之间互操作。该管线集成了：

• 特征追踪：各种经典与现代的局部特征与匹配器。
• 回路闭合：使用描述符聚合器 (BoW, VLAD) 和全局描述符 (NetVLAD, CosPlace 等) 的方法。
• 体积重建：一种将深度与彩色图像转换为密集重建的管线，使用带有体素哈希的 TSDF 或增量式 Gaussian Splatting。
• AI 集成：内置对深度预测 (例如 DepthAnythingV2) 和语义分割 (例如 YOLO, Segformer) 的支持，以增强场景理解。
• 3D 推理：一个使用 DUSt3R 和 Mast3r 等模型从多张图像重建 3D 场景的前馈管线。

目标受众

它专为需要灵活基准框架来实验、原型设计和开发视觉里程计 (VO) 与 SLAM 管线的研究人员和开发者而设计。

特色亮点

• 混合实现：在 Python 和 C++ 之间无缝切换稀疏 SLAM 核心。
• 广泛的模型支持：集成了众多最先进的深度预测和语义分割模型。
• 多相机支持：适用于单目、双目和 RGBD 相机设置。
• 密集地图构建：支持体积集成与 Gaussian Splatting 以进行高质量 3D 重建。
• 广泛的数据集兼容性：内置支持超过 10 种主要数据集类型，包括 KITTI, TUM 和 EuRoC。