apple-aiml-research/ml-gmpi

What it solves

このプロジェクトは、2D 生成対抗ネットワーク (GANs) を 3D 対応型にするという課題に取り組んでいます。3D 構造と深さを持つ画像を生成することを可能にし、2D 生成器から合成的な 3D 風の視点を作成することができます。

How it works

GMPI は Multiplane Images (MPIs) を使用します。これは、3D シーンを RGB と alpha (透明度) マップを持つ一連の半透明レイヤー (平面) として表現するものです。システムは、これらの平面をレンダリングすることで、さまざまなカメラ角度からの 2D 画像を生成し、カメラの動きを伴う動画を셈, 3D メッシュの抽出も可能です。

Who it’s for

コンピュータ ビジョン、3D シーン再構成、および生成 AI の研究者や開発者、特に 2D GANs の 3D 対応化を強化することに興味がある方々です。

Highlights

• 3D-Aware Generation: 2D GAN の出力を 3D 対応型表現に変換します。
• Multi-View Rendering: Supports 渲染、単一画像、水平または垂直方向のカメラ移動を含む動画、および深度マップをサポートします。
• Mesh Extraction: Marching Cubes を使用して 3D メッシュ (.ply ファイル) を抽出する機能があります。
• Pretrained Checkpoints: FFHQ, AFHQCat, および MetFaces のデータセットに対する学習済みモデルを提供します。