half-potato/radiance_meshes

What it solves

이 프로젝트는 볼륨 재구성 방법인 Radiance Meshes의 학습 코드를 제공합니다. 사용자가 일련의 이미지로부터 장면의 3D 표현을 생성할 수 있도록 하며, mipnerf360 및 zipnerf와 같은 다양한 데이터셋을 지원합니다.

How it works

시스템은 장면의 이미지 세트를 입력받아 볼륨을 재구성하도록 모델을 학습합니다. convert.py 스크립프를 통해 사용자 정의 데이터셋 변환을 지원하며, Gaussian Splatting(Agisoft Metashape 경유)에서 사용되는 데이터셋 형식과 호환됩니다. 학습 프로세스는 VRAM이 적은 GPU를 위해 hashmap size를 줄이거나, 모바일 웹 환경에서의 시청을 위해 vertex budget 및 voxel size와 같은 파라미터를 조정하여 경량화된 모델을 생성하는 등 다양한 하드웨어 제약 조건에 맞춰 최적화할 수 있습니다.

Who it's for

NVIDIA GPU(이상적으로 24GB VRAM 권장)를 보유하고 Linux 환경에서 실행 중인 3D 재구성, 볼륨 렌더링 및 컴퓨터 비전 분야의 연구자 및 개발자입니다.

Highlights

• Volumetric Reconstruction: 이미지로부터 상세한 3D 장면을 생성하는 데 중점을 둡니다.
• Web-Optimized Training: 모바일 시청을 위해 모델 크기와 vertex count를 줄이는 특정 파라미터를 제공합니다.
• Flexible Dataset Support: 표준 NeRF 데이터셋 및 Gaussian Splatting 형식과 호환됩니다.
• Hardware Adaptability: 24GB 미만의 VRAM을 가진 GPU에 맞춰 설정을 조정할 수 있습니다.