LogosIntelligenceLab/4d-gaussian-splatting
[ICLR 2024] Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting
해결하는 문제
기존의 3D 장면 렌더링은 정적인 장면을 캡처할 수 있지만, 현실 세계의 장면은 움직입니다. 사람이 걷고, 카메라가 팬(pan)하며, 물체가 이동합니다. 이 프로젝트는 사진처럼 사실적인 품질을 유지하면서 동적인 장면을 실시간으로 표현하고 렌더링하는 더 어려운 문제를 해결합니다. 공간과 시간을 별도의 단계로 나누는 대신, 하나의 통합된 4D 모델로 처리하여 이를 수행합니다.
작동 원리
핵심 아이디어는 수백만 개의 작고 흐릿한 3D 블롭(가우시안)을 사용하여 장면을 표현하고 빠르게 렌더링하는 "Gaussian splatting" 기술을 3D에서 4D로 확장하는 것입니다. 이제 각 가우시안은 시간 성분도 포함하므로 장면이 변함에 따라 이동하고 변형될 수 있습니다. 이 논문은 "비편향 4D 가우시안 프리미티브"와 공간 및 시간 차원을 일관되게 처리하는 전용 렌더링 파이프라인을 설명합니다. 이를 통해 동일한 모델을 사용하여 직접 캡처되지 않은 시점을 포함하여 언제든지 어떤 시점에서든 장면을 렌더링할 수 있습니다.
이 코드는 잘 알려진 3D Gaussian Splatting 구현을 기반으로 구축되었으므로 동일한 환경과 학습 방식을 사용합니다. 데이터셋(Neural 3D Video 데이터셋 또는 DNeRF 데이터셋)을 다운로드하고 필요한 경우 전처리한 다음, 구성 파일을 사용하여 단일 학습 명령을 실행하면 됩니다.
대상 사용자
새로운 시점 합성, 가상 현실, 영화 제작 또는 실시간으로 라이브나 녹화된 동적 3D 장면을 렌더링해야 하는 모든 애플리케이션을 연구하는 연구원 및 개발자. 3D Gaussian Splatting 및 표준 딥러닝 도구(Python, conda)에 익숙하다고 가정합니다.
주요 특징
- 사진처럼 사실적인 품질의 동적 장면 실시간 렌더링 (정적 장면뿐만 아니라)
- 공간과 시간을 통합 모델링하는 4D 가우시안 프리미티브로 별도의 움직임 추정 단계 불필요
- ICLR 2024에 발표된 논문의 공식 구현
- 성숙한 3D Gaussian Splatting 코드베이스를 기반으로 구축되어 도입이 용이함
- 동적 새로운 시점 합성, 불렛 타임 효과, 텔레포트 카메라의 자유 시점 비디오, 단안 동적 장면 재구성을 보여주는 데모 비디오 포함
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트