caiyuanhao1998/HDR-GS

"HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting" (NeurIPS 2024)

해결하는 문제

이 프로젝트는 기존 이미지로부터 장면의 새로운 시점을 생성하는 문제를 다루며, 특히 고다이내믹 레인지(HDR) 콘텐츠에 초점을 맞춥니다. NeRF와 같은 기존 방식은 속도가 느려 한 시점당 수 분이 소요되기도 합니다. HDR-GS는 더 빠른 기술인 Gaussian splatting을 사용하여 1000배 빠른 속도로 HDR 신규 시점을 생성합니다. 또한 기존 HDR 데이터셋은 3D Gaussian Splatting 파이프라인과 호환되지 않았기 때문에, 재보정된 카메라 포즈와 데이터셋을 함께 제공합니다.

작동 원리

HDR-GS는 3D 장면을 위치, 색상, 불투명도 등의 매개변수를 가진 가우시안 프리미티브의 집합으로 표현합니다. HDR을 위해 이 방법은 고다이내믹 레인지 방사 휘도 값을 표준 이미지로 변환하는 톤 매퍼를 학습합니다. 파이프라인에는 카메라 포즈를 재보정하고 초기 포인트 클라우드를 생성하기 위한 structure-from-motion이 포함되어 있습니다. 코드는 합성 장면과 실제 장면 모두에 대한 학습 스크립트와, 사전 학습된 모델을 로드하여 신규 시점이나 스파이럴 비디오를 렌더링하는 테스트 스크립트를 제공합니다.

대상 사용자

신규 시점 합성, HDR 이미징 또는 실시간 렌더링을 연구하는 연구원 및 개발자를 대상으로 합니다. Gaussian splatting을 실험하거나 NeurIPS 2024 논문의 결과를 재현하려는 모든 사람에게 유용합니다. 사용자는 명령줄 도구에 익숙해야 하며 학습을 위한 GPU가 필요합니다.

주요 특징

  • NeurIPS 2024 채택
  • 기존 NeRF 기반 HDR 방식 대비 1000배 속도 향상 달성
  • 합성 및 실제 장면 학습과 테스트를 위한 코드 포함
  • Google Drive, Baidu Disk, Hugging Face를 통해 재보정된 데이터셋 및 사전 학습된 모델 제공
  • 프로젝트 페이지에서 인터랙티브 비교 결과 제공
  • 제공된 스크립트를 통한 직접적인 모델 로드 및 스파이럴 비디오 렌더링 지원

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트