MIT-SPARK/VGGT-SLAM

VGGT-SLAM: Dense RGB SLAM Optimized on the SL(4) Manifold

What it solves

VGGT-SLAM 提供了一種進行即時、稠密場景重建與地圖構建的方法。它允許系統在移動過程中建立環境的詳細 3D 地圖，同時估計自身的定位 (SLAM - Simultaneous Localization and Mapping)。

How it works

該系統採用前饋式方法進行稠密重建。它整合了多個組件來增量式地構建地圖：

  • Perception Encoder 與 SAM 3 被用於可選的開放集 3D 物件偵測，允許使用者透過查詢特定物件 (例如，「coffee machine」) 並在圖上以 3D 邊界框 (bounding boxes) 標示出來。
  • 它支援對影像資料夾進行離線處理，以及使用 RealSense 相機進行即時線上操作。
  • 它利用 SL(4) manifold 最佳化來提升地圖構建的精確度。

Who it’s for

此專案是為從事機器人學、自主導航與 3D 場景重建的研究人員與開發者所設計的。

Highlights

  • Real-time Performance: Capable of dense feed-forward scene reconstruction in real-time.
  • Open-set Object Detection: Supports querying for arbitrary objects in 3D space using text queries.
  • Open-set Object Detection: Supports querying for arbitrary objects in 3D space using text queries.
  • Hardware Integration: Direct support for RealSense cameras for live mapping.
  • Flexible Visualization: Uses Viser for incremental map construction and point cloud visualization.