apple-aiml-research/ml-gmpi

What it solves

本專案旨在解決如何讓 2D 生成對抗網路 (GANs) 具備 3D 感知能力的問題。它能夠生成具有 3D 結構與深度的影像，從而能夠從 2D 生成器中建立合成的類 3D 視角。

How it works

GMPI 使用多平面影像 (MPIs)，將 3D 場景表示為具有 RGB 與 alpha (透明度) 映射圖的一組半透明層 (平面)。該系統可以透過渲染這些平面來從各種相機角度產生 2D 影像、渲染帶有相機運動的影片，甚至從生成的內容中提取 3D 網格 (mesh)。

Who it’s for

研究人員與開發者，特別是從事電腦視覺、3D 場景重建與生成式 AI 的研究人員，以及對增強 2D GANs 的 3D 感知能力感興趣的人士。

Highlights

• 3D-Aware Generation: 轉換 2D GAN 輸出結果為具備 3D 感知能力的表示法。
• Multi-View Rendering: 支援渲染單張影像、帶有水平或垂直相機運動的影片，以及深度圖。
• Mesh Extraction: 能夠使用 Marching Cubes 演算法提取 3D 網格 (.ply 檔案)。
• Pretrained Checkpoints: 提供針對 FFHQ, AFHQCat, 與 MetFaces 等資料集的預訓練模型。