cre185/InstantSfM

解決的問題

InstantSfM 解決了傳統結構從運動（SfM）流程的效率瓶頸，這些流程通常較慢且未完全針對現代 GPU 硬體進行最佳化。它提供了一種 GPU 原生的方法，從一組 2D 圖像中重建 3D 結構，使過程更快，並與深度學習工作流程更加相容。

如何運作

此專案實作了包含三個主要階段的完整 SfM 流程：

1. 特徵提取與匹配：預設使用 COLMAP 識別影像之間的關鍵點。
2. 全域 SfM 與束調整：使用 GPU 原生運算計算 3D 結構與相機位姿，以優化重建。
3. 3D 高斯點雲（3DGS）：提供整合支援，基於重建資料訓練 3DGS 模型。

它採用 SIMD 友好的資料結構以提升處理速度，並與 bae 等工具整合，以在急切模式下進行束調整。

適用對象

此工具專為從事電腦視覺、機器人學與 3D 重建的研究人員與開發者設計，他們需要一個高效率、GPU 加速的流程，將影像轉換為 3D 模型。

主要亮點

• GPU 原生架構：針對 NVIDIA GPU 優化，加速 SfM 過程。
• 端對端流程：涵蓋從特徵提取到 3DGS 訓練的全部流程。
• 互動式可視化：包含 GUI，可即時視覺化重建過程或回放記錄的重建。
• 度量深度支援：包含使用 Video Depth Anything 從影片中進行度量尺度深度估計的工具。