luciddreamer-cvlab/LucidDreamer

解决的问题

LucidDreamer 能够通过单张图像和文本提示，使用高斯点阵（Gaussian Splatting）生成 3D 场景。它解决了在无需特定领域训练数据的情况下，跨多个领域创建高质量 3D 环境的挑战。

工作原理

该系统利用文本提示和输入图像引导的修复（inpainting）过程来“构想”场景。它借助 Stable Diffusion (SD 1.5) 和 ZoeDepth 等模型进行深度估计，并使用高斯点阵光栅化器将生成的视角转换为 3D 场景。用户可为生成和渲染阶段指定相机路径，以控制最终 3D 输出的视角。

适用人群

本工具专为计算机视觉和 3D 图形领域的研究人员和开发者设计，适用于希望从 2D 输入生成沉浸式 3D 场景的用户，以及使用 AI 驱动的 3D 内容创作工具的艺术家。

核心亮点

• 领域无关生成：无需特定训练即可在不同环境中生成 3D 场景。
• 灵活输入：支持单张图像与文本提示的组合输入。
• 可自定义相机路径：支持多种相机运动（如 rotate360、lookaround）用于生成和渲染。
• 与 SD 集成：支持自定义 Stable Diffusion 检查点，以获得更精细的修复结果。