zju3dv/4K4D

해결하는 문제

4K4D는 4K 해상도에서 실시간 4D 뷰 합성을 가능하게 하여, 사용자가 새로운 시점에서 동적 장면을 실시간으로 고해상도로 렌더링할 수 있도록 합니다.

작동 원리

이 프로젝트는 EasyVolcap이라는 볼류메트릭 비디오 프레임워크를 활용합니다. 포인트 기반 표현을 사용하며 효율적인 래스터화를 위해 타일 기반 CUDA 렌더러를 지원합니다. 이 시스템은 다중 시점 데이터셋(DNA-Rendering 또는 ZJU-MoCap 등)에서 학습할 수 있으며, 실시간 렌더링 모델과 외관 모델을 저차 구면 조화 함수 (SH) 파라미터로 증류하는 모바일 최적화 버전을 포함하여 다양한 타겟에 맞게 최적화할 수 있습니다.

대상 사용자

컴퓨터 비전, 4D 재구성, 볼류메트릭 비디오 분야에서 동적 장면의 고충실도 실시간 재생이 필요한 연구자 및 개발자.

주요 특징

• 4K 해상도: 동적 장면의 고해상도 합성 지원.
• 실시간 성능: 전용 CUDA 백엔드 타일 래스터라이저를 포함하여 실시간 렌더링에 최적화.
• 유연한 렌더링: 로컬 클라이언트 조작을 지원하는 원격 서버 측 렌더링용 WebSocket 기반 뷰어 포함.
• 모듈형 프레임워크: EasyVolcap 프레임워크를 기반으로 구축되어 학습 및 추론 파이프라인의 통합이 용이함.