guochengqian/Magic123

[ICLR'24] Official PyTorch Implementation of Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors

What it solves

Magic123 生成高品質 3D 物件，僅需單張 2D 圖片。它解決了在加入豐富細節與想像力的同時，仍能保持 3D 一致性的挑戰，僅使用單一擴散先驗時常會失敗。

How it works

此專案採用結合 2D 與 3D 擴散先驗的聯合先驗方法。它使用由兩個階段組成的粗到細流程：

  1. Coarse Stage：使用 NeRF（神經輻射場）建立基本的幾何與形狀。
  2. Fine Stage：使用 DMTet 精緻紋理與高解析度細節。

為提升品質，系統可選擇性使用文字反轉為圖中特定物件建立專屬 token，並利用深度估計（透過 MiDaS）引導幾何。

Who it’s for

從事 3D 內容創作、電腦視覺與生成式 AI 的研究者與開發者，想將單張圖片轉換為具紋理的 3D 網格。

Highlights

  • Joint Priors：結合 2D 與 3D 擴散先驗，平衡 3D 一致性與視覺細節。
  • Coarse-to-Fine Pipeline：兩階段流程（NeRF 後 DMTet）提升輸出品質。
  • Mesh Export：支援將最終物件匯出為 .obj 檔案，包含材質與紋理，可於 Blender 或 MeshLab 使用。
  • Customizable Guidance：允許調整 2D 與 3D 先驗強度，以控制細節與一致性的平衡。