nicolasvonluetzow/GaussianGPT

解决的问题

GaussianGPT 解决了 3D 场景生成的挑战。尽管目前大多数方法依赖于扩散或流匹配，本项目提供了一种完全自回归的替代方案，能够逐步生成 3D 高斯场景，从而实现场景补全、外绘（outpainting）和可控采样等功能。

工作原理

系统采用两阶段流水线：

1. VQ-VAE：一种带有向量量化（vector quantization）的稀疏 3D 卷积自编码器，将 3D 高斯原语压缩为离散标记（tokens）。该阶段通过使用 gsplat 的重渲染损失进行监督。
2. GPT：一种带有 3D 旋转位置嵌入的因果变换器（causal transformer），通过下一个标记预测来建模这些标记流。

生成场景时，GPT 会采样标记，然后由冻结的 VQ-VAE 将其解码回 3D 高斯以进行渲染。

适用人群

本项目专为从事 3D 生成建模、神经渲染和计算机视觉的研究人员与开发者设计，尤其适合对扩散模型之外的自回归 3D 生成替代方案感兴趣的人群。

核心亮点

• 自回归生成：以顺序方式构建 3D 场景，而非整体优化。
• 灵活生成：支持无条件生成、提示条件补全和空间外绘。
• 可扩展的拼贴：能够拼贴多个块以生成大规模 3D 场景。
• 显式表示：直接操作 3D 高斯，与现代神经渲染流水线兼容。