guochengqian/Magic123

[ICLR'24] Official PyTorch Implementation of Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors

What it solves

Magic123 は単一の 2D 画像から高品質な 3D オブジェクトを生成します。1 種類の拡散プライアだけを使用すると、豊かなディテールと想像力を加えつつ 3D の一貫性を保つことが難しいという課題を解決します。

How it works

本プロジェクトは 2D と 3D の拡散プライアを組み合わせたジョイントプライア手法を採用しています。粗から細へのパイプラインは 2 段階で構成されます：

  1. Coarse Stage：NeRF（Neural Radiance Field）を使用して基本的なジオメトリと形状を確立します。
  2. Fine Stage：DMTet を使用してテクスチャと高解像度のディテールを洗練します。

品質向上のため、画像中の特定オブジェクト用に特殊トークンを作成するテキストインバージョンをオプションで使用でき、MiDaS による深度推定でジオメトリをガイドします。

Who it’s for

単一画像をテクスチャ付き 3D メッシュに変換したい、3D コンテンツ制作、コンピュータビジョン、生成 AI の研究者や開発者向けです。

Highlights

  • Joint Priors：2D と 3D の拡散プライアを組み合わせ、3D の一貫性とビジュアルディテールのバランスを取ります。
  • Coarse-to-Fine Pipeline：2 段階プロセス（NeRF から DMTet）で高品質な出力を実現。
  • Mesh Export：最終オブジェクトを .obj ファイルとしてエクスポート可能。マテリアルとテクスチャを含み、Blender や MeshLab で使用できます。
  • Customizable Guidance：2D と 3D のプライア強度を調整でき、ディテールと一貫性のバランスを制御できます。