apple-aiml-research/ml-gmpi

What it solves

이 프로젝트는 2D 생성적 적대 신경망(GANs)을 3D 인식형으로 만드는 데 따르는 과제를 해결합니다. 3D 구조와 깊이를 가진 이미지를 생성할 수 있게 하여, 2D 생성기에서 합성된 3D 스타일의 뷰를 생성할 수 있도록 합니다.

How it works

GMPI는 Multiplane Images (MPIs)를 사용합니다. MPIs는 3D 장면을 RGB 및 alpha (투명도) 맵을 가진 일련의 반투명 레이어(평면)로 표현합니다. 시스템은 이러한 평면을 렌드링하여 다양한 카메라 각도에서 2D 이미지를 생성하고, 카메라 움직임이 포함된 비디오를 렌더링하고, 생성된 콘텐츠로부터 3D 메쉬(mesh)를 추출할 수 있습니다.

Who it’s for

컴퓨터 비전, 3D 장면 재구성, 및 생성형 AI 분야의 연구자 및 개발자, 특히 2D GANs의 3D 인식 능력을 향상시키는 데 관심이 있는 분들을 위한 데합니다.

Highlights

• 3D-Aware Generation: 2D GAN 출력을 3D 인식형 표현으로 변환합니다.
• Multi-View Rendering: 단일 이미지, 수평 또는 수직 카메라 움직임이 vidoe로 렌더링하는 것을 지원합니다, 그리고 깊이 맵을 지원합니다.
• Mesh Extraction: Marching Cubes를 사용하여 3D 메쉬(.ply 파일)를 추출할 수 있습니다.
• Pretrained Checkpoints: FFHQ, AFHQCat, 및 MetFaces와 같은 데이터셋에 대한 사전 학습된 체크포인트를 제공합니다.