zju3dv/EasyVolcap

해결하는 문제

EasyVolcap은 신경 볼륨 비디오 연구를 가속화하기 위해 설계된 PyTorch 라이브러리입니다. 볼륨 비디오 캡처, 재구성 및 렌더링의 복잡한 과정을 간소화하며, 새로운 볼륨 비디오 알고리즘을 구현하고 테스트하는 데 필요한 상용구 코드를 줄여주는 통합 프레임워크를 제공합니다.

작동 방식

이 라이브러리는 파이프라인을 샘플러, 네트워크, 렌더러로 분리하는 모듈식 아키텍처를 제공합니다. 통합된 NeRF 스타일 파이프라인(설정 파일을 통해 구성 요소를 교체 가능)과 완전히 사용자 정의된 네트워크 구축 방식을 모두 지원합니다. 이 프레임워크는 데이터 로딩, 카메라 포즈 보정 및 이미지 왜곡 보정을 처리하여 연구자가 핵심 네트워크 로직에 집중할 수 있도록 합니다. 또한 렌더링과 뷰잉을 분리하기 위한 WebSocket 기반 서버 측 렌더링 시스템도 포함되어 있습니다.

대상 사용자

4D 뷰 합성, 신경 복사 필드 (NeRF), 3D 가우시안 스플래팅 (3DGS) 및 기타 볼륨 비디오 재구성 기술을 연구하는 연구원 및 개발자를 위한 것입니다.

주요 특징

• 다중 알고리즘 지원: Instant-NGP+T, 3DGS+T 및 ENeRFi 구현이 포함되어 있습니다.
• 유연한 사용자 정의: 간단한 데코레이터를 사용하여 사용자 정의 모듈을 등록하고 YAML 설정을 통해 구성 요소를 교체할 수 있습니다.
• 통합 도구: GUI 뷰어, 렌더링 서버 및 초기화를 위한 지오메트리(포인트 클라우드) 추출 스크립트를 제공합니다.
• 확장 가능한 설계: 4K4D 프로젝트에서 입증된 바와 같이, 새로운 프로젝트를 위한 포크 워크플로우를 권장합니다.