nv-tlabs/XCube

[CVPR 2024 Highlight] XCube: Large-Scale 3D Generative Modeling using Sparse Voxel Hierarchies

What it solves

XCube 解决了在无需耗时测试时优化（test-time optimization）的情况下，生成高分辨率 3D 体素网格的挑战。它能够以高有效分辨率（最高可达 1024³）创建精细的 3D 物件和大规模户外场景（最高可达 100m x 100m），允许以前馈方式（feed-forward manner）生成数百万个体素。

How it works

XCube 使用分层体素潜在扩散模型。它利用基于高效 VDB 数据结构构建的自定义框架，从粗糙到精细分辨率逐步生成 3D 网格。这种方法允许模型处理具有任意属性的稀疏 3D 体素网格。

Who it’s for

该项目是为从事 3D 生成式 AI、空间智能和高分辨率 3D 场景合成的研究人员和开发人员设计的。

Highlights

  • High Resolution: 支持最高可达 1024³ 的精细有效分辨率。
  • Feed-forward Generation: 无需测试时优化即可生成 3D 内容。
  • Versatile Tasks: 能够进行无条件生成、用户引导式编辑、从单次扫描进行场景补全，以及文本到 3D。
  • Large Scale: 在体素大小仅为 10cm 的大规模户外场景中展示了有效性。