nicolasvonluetzow/GaussianGPT

해결하는 문제

GaussianGPT은 3D 장면 생성의 과제를 해결합니다. 현재 대부분의 방법들이 확산 또는 플로우 매칭에 의존하는 반면, 이 프로젝트는 완전히 자기회귀적인 대안을 제공하여 3D 가우시안 장면을 단계적으로 생성할 수 있게 하며, 장면 보완, 아웃페인팅, 제어 가능한 샘플링과 같은 기능을 가능하게 합니다.

작동 방식

시스템은 두 단계의 파이프라인을 사용합니다:

1. VQ-VAE: 벡터 양자화를 갖춘 희소 3D 컨볼루션 오토인코더가 3D 가우시안 프리미티브를 이산 토큰으로 압축합니다. 이 단계는 gsplat를 사용한 재렌더링 손실에 의해 감독됩니다.
2. GPT: 3D 회전 위치 임베딩을 갖춘 인과적 트랜스포머가 이러한 토큰 스트림을 다음 토큰 예측을 통해 모델링합니다.

장면을 생성하기 위해 GPT는 토큰을 샘플링하고, 그 토큰은 고정된 VQ-VAE에 의해 다시 3D 가우시안으로 디코딩되어 렌더링됩니다.

대상 사용자

이 프로젝트는 3D 생성 모델링, 신경 렌더링, 컴퓨터 비전 분야에서 연구 및 개발을 수행하는 연구자와 개발자를 대상으로 하며, 특히 확산 기반 3D 생성에 대한 자기회귀적 대안에 관심이 있는 분들에게 적합합니다.

주요 특징

• 자기회귀적 생성: 전체적으로 최적화하는 대신 순차적으로 3D 장면을 구성합니다.
• 유연한 생성: 무조건적 생성, 프롬프트 조건부 보완, 공간적 아웃페인팅을 지원합니다.
• 확장 가능한 타일링: 여러 조각을 타일링하여 대규모 3D 장면을 생성할 수 있습니다.
• 명시적 표현: 3D 가우시안을 직접 다루기 때문에 현대적인 신경 렌더링 파이프라인과 호환됩니다.