TencentARC/Pixal3D

해결하는 문제

Pixal3D는 단일 이미지에서 3D 자산 생성 시 정밀도 부족 문제를 해결합니다. 기존 방법들은 이미지 특징을 대략적으로 삽입하는 반면, Pixal3D는 피크셀과 3D 공간 간의 직접적인 대응 관계를 설정함으로써 고정밀도의 기하 구조와 PBR 텍스처를 보장합니다.

작동 방식

이 시스템은 해상도를 점진적으로 증가시키는 3단계 카스케이드를 사용합니다:

1. 희소 구조: 초기 거친 구조 생성 (32~64 해상도).
2. 형태: 기하 구조 정밀화 (256~1024 해상도).
3. 텍스처: 세부적인 PBR 텍스처 추가 (256~1024 해상도).

이를 위해 주의 메커니즘에 의존하지 않고, 백프로젝션을 통해 피크셀 특징을 명시적으로 3D로 승화시킵니다. 단일 이미지 또는 동일한 객체의 다중 뷰를 사용할 수 있으며, 별도의 다중 뷰 가중치 세트를 활용합니다.

대상 사용자

• 3D 아티스트 및 디자이너: 2D 이미지에서 고품질 3D 자산을 빠르게 생성.
• AI 연구자: 3D 생성 및 피크셀 정렬 프로젝션 조건부 작업에 종사하는 분들.
• 개발자: 제공된 Gradio 웹 데모 또는 ComfyUI 확장 기능을 통해 3D 생성을 워크플로우에 통합하고자 하는 사용자.

주요 특징

• 피크셀 정렬 프로젝션: 피크셀과 3D 공간 간의 직접적 대응 관계를 설정하여 재구성 수준에 가까운 정밀도를 달성.
• 다중 뷰 지원: 동일한 객체의 여러 이미지를 조건으로 사용해 정확도 향상.
• PBR 텍스처: 세부적인 물리 기반 렌더링 텍스처를 갖춘 자산 생성.
• 카스케이드 트레이닝: 희소 구조에서 고해상도 텍스처까지 확장 가능한 구조화된 3단계 파이프라인.
• 저 VRAM 모드: 소비자용 하드웨어에서도 접근 가능한 최대 메모리 사용량을 줄이는 옵션 포함.