WorldGen: 一款用於創建沉浸式 360° 環境的快速文字轉 3D 場景生成器

它解決了什麼問題

WorldGen 允許使用者在幾秒鐘內從簡單的文字提示或 2D 圖像創建完整的 3D 場景。它消除了手動進行 3D 建模的需求，能夠為遊戲、模擬、機器人技術和虛擬實境快速生成沉浸式環境。

運作原理

WorldGen 通過利用可以將文字或圖像處理成 3D 表示形式的流水線來生成 3D 場景。它內部支持從 360° 全景圖像（equirectangular）生成場景，並利用 DA-2 等工具進行 360° 深度估計，以及使用 FLUX.1-dev 進行圖像生成。該系統可以將場景輸出為 Gaussian Splatting (.ply) 或 3D mesh，從而實現靈活的渲染和實時探索。

對象是誰

此工具是為遊戲、VR/AR 和機器人技術行業的開發者和創作者設計的，他們需要快速構建 3D 環境的原型或為模擬生成合成數據。

重點功能

• 即時生成：在幾秒鐘內從文字或圖像創建完整的 3D 場景。
• 360° 探索：支持具有閉環（loop closure）的一致性、自由視角探索。
• 多樣化的場景支持：適用於室內和室外環境，包括寫實和風格化的場景。
• 靈活的輸出：支持 Gaussian Splatting 和 mesh 生成，以滿足不同的渲染需求。
• 低 VRAM 模式：包含適用於 VRAM 小於 24GB 的 GPU 模式（使用約 10GB）。
• 實時渲染：支持以任何解析度進行渲染，並可自定義相機軌跡。