Jumpat/SegAnyGAussians

它解决了什么问题

SAGA（Segment Any 3D GAussians）能够分割通过 3D 高斯溶射（3DGS）重建的 3D 场景中的单个对象。它允许用户通过交互提示或开放词汇查询来隔离和提取复杂场景中的特定 3D 对象，解决了 3D 场景被表示为单一、未分割的高斯云的问题。

它是如何工作的

该系统利用预训练的 Segment Anything Model（SAM）和 CLIP 特征，将 2D 图像掩码和语义特征与 3D 高斯属性关联。它遵循多步骤流程：

1. 3DGS 训练：首先在场景上训练标准的 3D 高斯溶射模型。
2. 特征提取：从图像中提取 SAM 的 2D 掩码和 CLIP 特征。
3. 亲和力训练：项目通过对比学习方法训练 3D 高斯亲和力特征，以确保属于同一对象的高斯在特征空间中相似。
4. 分割：用户通过 GUI 或笔记本提供点提示，系统计算相似度以分割 3D 高斯。

适用人群

此工具专为从事 3D 计算机视觉、场景重建和增强现实的研究人员和开发者设计，他们需要能够在通过 3D-GS 重建的环境中识别和隔离特定对象。

亮点

• 交互式 GUI：包含基于 dearpygui 的界面，用于旋转、平移和输入点提示以实时分割对象。
• 开放词汇分割：支持通过 CLIP 特征（在 Jupyter Notebook 中实现）使用基于文本的描述进行对象查询。
• 3D 聚类：整合 HDBSCAN 以执行 3D 聚类进行对象分解。
• 灵活渲染：能够将分割的对象与背景分开渲染，或生成 2D 渲染掩码。