guochengqian/Magic123

[ICLR'24] Official PyTorch Implementation of Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors

What it solves

Magic123 生成高质量 3D 对象，仅需单张 2D 图像。它解决了在添加丰富细节和想象力的同时，保持 3D 一致性的挑战，仅使用单一扩散先验时常会失败。

How it works

该项目使用结合 2D 与 3D 扩散先验的联合先验方法。它采用由两个阶段组成的粗到细管线：

  1. Coarse Stage：使用 NeRF（神经辐射场）建立基本几何和形状。
  2. Fine Stage：使用 DMTet 精细纹理和高分辨率细节。

为提升质量，可选使用文本反演为图中特定对象创建专用 token，并使用深度估计（通过 MiDaS）引导几何。

Who it’s for

从事 3D 内容创作、计算机视觉和生成式 AI 的研究者和开发者，想将单张图像转换为带纹理的 3D 网格。

Highlights

  • Joint Priors：结合 2D 与 3D 扩散先验，平衡 3D 一致性和视觉细节。
  • Coarse-to-Fine Pipeline：两阶段过程（NeRF 然后 DMTet）提升输出质量。
  • Mesh Export：支持将最终对象导出为 .obj 文件，包含材质和纹理，可在 Blender 或 MeshLab 中使用。
  • Customizable Guidance：允许调节 2D 与 3D 先验强度，以控制细节与一致性的平衡。