harry7557558/spirula-studio

解決的問題

Spirula Studio 提供了一個簡潔、一體化的 3D 高斯點雲渲染管道。它不需要複雜的相依性，例如 Python、PyTorch 或獨立的結構從運動（SfM）工具（如 COLMAP），使用者僅需一個二進位檔，即可將原始照片或影片轉換為 3D 點雲和帶紋理的網格。

工作原理

此專案使用基於 Vulkan 的計算後端，確保跨廠商 GPU 支援（NVIDIA、AMD、Intel 和 Apple Silicon）。它採用結合 MCMC、IGS+ 和 MRNF 的訓練策略，產生更清晰的結果並減少偽影。為保持高效率，採用量化訓練，可在 8GB 顯存內訓練高達 1000 萬高斯點。專案還內建了幀提取、AI 遮罩（透過 SAM）、以及原生 SfM 用於相機位姿估計的工具。

適用對象

希望獲得高效率 3D 重建管道，且安裝簡單、自包含的藝術家、3D 開發者和研究人員，無論其 GPU 硬體為何。

主要亮點

• 跨廠商 GPU 支援：透過 Vulkan 支援 NVIDIA、AMD、Intel 和 Apple GPU。
• 顯存效率：量化訓練可在消費級硬體（8GB 顯存）上處理大型場景（1000 萬高斯點）。
• 端對端工作流程：整合幀提取、AI 遮罩和 SfM，無需外部腳本。
• 專用相機支援：原生支援 360° 和等距投影相機，無需去畸變處理。
• 品質提升：使用修改後的雙邊網格和 PPISP 進行曝光與白平衡校正。