Jumpat/SegAnyGAussians

它解決了什麼問題

SAGA（Segment Any 3D GAussians）能夠分割透過 3D 高斯溶射（3DGS）重建的 3D 場景中的個別物體。它允許使用者透過互動提示或開放詞彙查詢來隔離和提取複雜場景中的特定 3D 物體，解決了 3D 場景被表示為單一、未分割的高斯雲的問題。

它是如何運作的

該系統利用預訓練的 Segment Anything Model（SAM）和 CLIP 特徵，將 2D 圖像遮罩和語義特徵與 3D 高斯屬性關聯。它遵循多步驟管線：

1. 3DGS 訓練：首先在場景上訓練標準的 3D 高斯溶射模型。
2. 特徵提取：從圖像中提取 SAM 的 2D 遮罩和 CLIP 特徵。
3. 親和力訓練：專案透過對比學習方法訓練 3D 高斯親和力特徵，以確保屬於同一物體的高斯在特徵空間中相似。
4. 分割：使用者透過 GUI 或筆記本提供點提示，系統計算相似度以分割 3D 高斯。

適用對象

此工具專為從事 3D 電腦視覺、場景重建和擴增實境的研究人員和開發者設計，他們需要能夠在透過 3D-GS 重建的環境中識別和隔離特定物體。

特色

• 互動式 GUI：包含基於 dearpygui 的介面，用於旋轉、平移和輸入點提示以即時分割物體。
• 開放詞彙分割：支援透過 CLIP 特徵（在 Jupyter Notebook 中實現）使用基於文字的描述進行物體查詢。
• 3D 群聚：整合 HDBSCAN 以執行 3D 群聚進行物體分解。
• 靈活渲染：能夠將分割的物體與背景分開渲染，或生成 2D 渲染遮罩。