apple-aiml-research/ml-gmpi

What it solves

本项目旨在解决如何让 2D 生成对抗网络 (GANs) 具备 3D 感知能力的问题。它能够生成具有 3D 结构与深度的图像，从而能够从 2D 生成器中创建合成的类 3D 视角。

How it works

GMPI 使用多平面图像 (MPIs)，将 3D 场景表示为一组具有 RGB 和 alpha (透明度) 映射图的半透明层 (平面)。该系统可以渲染这些平面以从各种相机角度产生 2D 图像，渲染带有相机运动的视频，甚至从生成的內容中提取 3D 网格 (mesh)。

Who it’s for

研究人员与开发者，特别是从事计算机视觉、3D 场景重建与生成式 AI 的研究人员，以及对增强 2D GANs 的 3D 感知能力感兴趣的人士。

Highlights

• 3D-Aware Generation: 将 2D GAN 输出转换为 3D 感知表示。
• Multi-View Rendering: 支持渲染单张图像、带有水平或垂直相机运动的视频，以及深度图。
• Mesh Extraction: 能够使用 Marching Cubes 算法提取 3D 网格 (.ply 文件)。
• Pretrained Checkpoints: 提供针对 FFHQ, AFHQCat, 和 MetFaces 等数据集的预训练模型。