MIT-SPARK/VGGT-SLAM

VGGT-SLAM: Dense RGB SLAM Optimized on the SL(4) Manifold

What it solves

VGGT-SLAM 提供了一种进行实时、实时、稠密场景重建与地图构建的方法。它允许系统在移动过程中建立环境的详细 3D 地图，同时估计自身的定位 (SLAM - Simultaneous Localization and Mapping)。

How it works

该系统采用前馈式方法进行稠密重建。它整合了多个组件来增量式地构建地图：

  • Perception Encoder 与 SAM 3 被用于可选的开放集 3D 物件检测，允许用户通过查询特定物体 (例如，「coffee machine」) 并并在地图上以 3D 边界框 (bounding boxes) 标示出来。
  • 它支持对图像文件夹进行离线处理，以及使用 RealSense 相机进行实时在线操作。
  • 它利用 SL(4) manifold 优化来提升地图构建的精度。

Who it’s for

该项目是为从事机器人学、自主导航与 3D 场景重建的研究人员与开发者所设计的。

Highlights

  • Real-time Performance: Cap simultaneousson of dense feed-forward scene reconstruction in real-time.
  • Open-set Object Detection: Supports querying for arbitrary objects in 3D space using text queries.
  • Hardware Integration: Direct support for RealSense cameras for live mapping.
  • Flexible Visualization: Uses Viser for incremental map construction and point cloud visualization.