WHU-USI3DV/VistaDream

VistaDream – 从单张照片重建三维场景

功能
VistaDream 是一个研究级的 Python 库（PyTorch），可以将单个 RGB 图像转换为完整的三维场景。它无需额外训练——它重用现有的基于扩散的图像生成器和深度估计器，然后添加一个无训练的多视图一致性步骤，使合成的新视图彼此对齐。

重要性
目前大多数三维重建流程需要多张校准照片或昂贵的优化循环。VistaDream 表明，通过巧妙地采样扩散模型，你可以仅从一张图片获得高质量、多视图一致的渲染，为 AR/VR、游戏和视觉效果快速创建内容打开了大门。

关键组件

阶段	发生什么	使用的主要工具
1️⃣ 全局脚手架	通过外绘图像边界并估计深度图来构建粗略的三维布局。	Fooocus（扩散修复）、Depth-Pro / Prior-Depth-Anything（深度）、可选的 VGGT 用于稀疏视图脚手架
2️⃣ 迭代 RGB-D 修复	使用基于扩散的修复填充脚手架的新视图 RGB-D 图像。	与上述相同的扩散模型
3️⃣ 多视图一致性采样（MCS）	在反向扩散步骤中，额外的约束强制所有生成的视图一致，产生连贯的场景。	纯算法——无需额外训练

如何尝试

1. 安装环境（仓库建议使用编码助手如 Codex 以避免依赖问题）。
2. 运行 bash download_weights.sh 获取所需的预训练检查点（Fooocus、Depth-Pro 等）。
3. 执行 python demo.py 进行单视图演示，或 python demo_sparse.py 如果你有一些稀疏图像。
4. 输出包括一个高斯场文件（scene.pth）和一个 RGB（和深度）渲染的 MP4 视频。该场可以导出为 PLY 文件，并在 SuperSplat 网页查看器中可视化。

你需要什么

• Ubuntu 20.04（已测试）
• 一块高端 GPU（例如 RTX 4090），因为扩散推理是 GPU 密集型的。
• Conda 环境 vdplus（参见 INSTALL.md）。

当前状态

• 已被 ICCV 2025 接收，期刊版本在 IEEE TPAMI（2026）。
• 代码是无训练的，但依赖多个外部预训练模型。
• 一个分支（moge3-lbd）添加了升级的深度模块（MoGe-3、LingBot-Depth）以获得更好的质量。

谁可能使用它

• 探索基于扩散的三维合成的研究人员。
• 希望从单个参考照片原型化三维资产的创作者。
• 构建需要快速、即时场景生成的 AR/VR 管道的开发者。

---

以上所有信息直接取自仓库的 README；没有假设额外的功能。