WorldGen:一种快速的文本到 3D 场景生成器,用于创建沉浸式 360° 环境
WorldGen:一种快速的文本到 3D 场景生成器,用于创建沉浸式 360° 环境
它解决了什么问题
WorldGen 让用户能够在几秒钟内通过简单的文本提示或 2D 图像创建完整的 3D 场景。它消除了手动 3D 建模的需求,使得能够快速生成用于游戏、仿真、机器人和虚拟现实的沉浸式环境。
工作原理
WorldGen 通过一个能够将文本或图像处理为 3D 表示的流水线来生成 3D 场景。它内部支持从 360° 全景图像(等距矩形投影)生成场景,并使用诸如 DA-2 的 360° 深度估计工具和 FLUX.1-dev 进行图像生成。系统可以将场景输出为 Gaussian Splatting(.ply)或 3D 网格,提供灵活的渲染方式和实时探索能力。
适用人群
该工具面向游戏、VR/AR 和机器人行业的开发者和创作者,帮助他们快速原型化 3D 环境或为仿真生成合成数据。
亮点
- 即时生成:几秒钟内从文本或图像创建完整的 3D 场景。
- 360° 探索:支持一致的自由视点探索并具备闭环功能。
- 多场景支持:适用于室内和室外环境,包括写实和风格化场景。
- 灵活输出:同时支持 Gaussian Splatting 和网格生成,以满足不同的渲染需求。
- 低显存模式:提供针对显存小于 24GB GPU 的模式(约使用 10GB)。
- 实时渲染:支持任意分辨率的渲染并可自定义相机轨迹。
摘要
WorldGen 是一款工具,能够在几秒钟内从文本提示或图像生成沉浸式 3D 场景,支持 Gaussian Splatting 和网格两种输出,适用于 VR、游戏和仿真。
标题
WorldGen:一种快速的文本到 3D 场景生成器,用于创建沉浸式 360° 环境
Sources
- undefinedZiYang-xie/WorldGen