nv-tlabs/XCube

[CVPR 2024 Highlight] XCube: Large-Scale 3D Generative Modeling using Sparse Voxel Hierarchies

What it solves

XCube 解決了在不需要耗時的測試時優化（test-time optimization）的情況下，生成高解析度 3D 體素網格的挑戰。它能夠以高有效解析度（最高可達 1024³）建立細緻的 3D 物件與大規模戶外場景（最高可達 100m x 100m），允許以前饋方式（feed-forward manner）生成數百萬個體素。

How it works

XCube 使用層級式體素潛在擴散模型。它利用基於高效 VDB 資料結構所建立的自定義框架，從粗糙到精細解析度逐步生成 3D 網格。這種方法允許模型處理具有任意屬性的稀疏 3D 體素網格。

Who it’s for

這個專案是為從事 3D 生成式 AI、空間智能與高解析度 3D 場景合成的研發人員與開發者所設計的。

Highlights

  • High Resolution: 支持最高可達 1024³ 的精細有效解析度。
  • Feed-forward Generation: 無需測試時優化即可生成 3D 內容。
  • Versatile Tasks: 能夠進行無條件生成、使用者引導式編輯、從單次掃描進行場景補全，以及文字轉 3D。
  • Large Scale: 在體素大小僅為 10cm 的大規模戶外場景中展現了有效性。"},