nv-tlabs/ppisp

해결하는 문제

PPISP는 방사 필드 재구성에 사용되는 실제 다중 카메라 영상 캡처에서 발생하는 측광 변화 문제를 해결합니다. 자동 노출로 인한 밝기 변화, 렌즈의 주변 광량 저하(비네팅), 화이트 밸런스 드리프트, 카메라 하드웨어에 의한 비선형 톤 매핑(카메라 응답 함수)과 같은 불일치를 보정합니다.

작동 원리

방사 필드 학습 파이프라인에 통합할 수 있는 학습 기반 후처리 모듈로 작동합니다. 이러한 측광 변화를 미분 가능한 CUDA kernels로 모델링합니다. 이 시스템에는 렌더링된 이미지에서 프레임별 노출 및 색상 보정을 직접 예측하는 컨트롤러가 포함되어 있어, 추론 시 프레임별 파라미터 없이도 일관된 새로운 시점 합성을 가능하게 합니다.

대상 사용자

여러 비디오 소스 간의 조명 및 카메라 설정 불일치를 처리해야 하는 방사 필드(NeRF 또는 Gaussian Splatting 등) 연구자 및 개발자.

주요 특징

• 포괄적인 측광 모델링: 노출, 비네팅, 색상 보정 및 카메라 응답 함수 (CRF) 처리.
• 미분 가능한 CUDA Kernels: 학습 파이프라인 내에서 높은 효율성을 위해 구현됨.
• 컨트롤러 증류: 추론 시 보정을 예측하는 메커니즘을 포함하여 프레임별 파라미터에 대한 의존성 제거.
• 분석 도구: 학습된 카메라 파라미터를 시각화하는 PDF 보고서를 내보내는 유틸리티 제공.