nv-tlabs/XCube

What it solves

XCube는 시간이 많이 소요되는 테스트 시 최적화(test-time optimization) 없이 고해상도 3D 복셀 그리드를 생성하는 과제를 해결합니다. 높은 유효 해상도(최대 1024³)로 정교한 3D 오브젝트와 대규모 야외 장면(최대 100m x 100m)을 생성할 수 있으며, 수백만 개의 복셀을 피드포워드(feed-forward) 방식으로 생성할 수 있습니다.

How it works

XCube는 계층적 복셀 잠재 확산 모델을을 사용합니다. 효율적인 VDB 데이터 구조를 기반으로 구축된 커스텀 프레임워크를 사용하여, 거친 해상도에서 정밀한 해상도로 3D 그리드를 점진적으로 생성합니다. 이 접근 방식은 모델이 임의의 속성을 가진 희소 3D 복셀 그리드를 처리할 수 있게 합니다.

Who it’s for

이 프로젝트는 3D 생성형 AI, 공간 지능, 그리고 고해상도 3D 장면 합성 분야에서 연구하는 연구원과 개발자를 위해 설계되었습니다.

Highlights

• High Resolution: 최대 1024³의 정밀한 유효 해상도를 지원합니다.
• Feed-forward Generation: 테스트 시 최적화 없이 3D 콘텐츠를 생성합니다.
• Versatile Tasks: 무조건 생성, 사용자 가이드 편집, 단일 스캔으로부터의 장면 완성, 그리고 텍스트-투-3D(text-to-3D)가 가능합니다.
• Large Scale: 복셀 크기가 10cm에 불과한 대규모 야외 장면에서도 효과가 입증되었습니다.