nv-tlabs/ppisp
Physically-Plausible Image Signal Processing (PPISP) for Radiance Field Reconstruction
解决的问题
PPISP 解决了用于辐射场重建的真实世界多摄像机视频采集中的光度变化问题。它修正了诸如自动曝光引起的亮度变化、镜头径向光衰减（晕影）、白平衡漂移以及摄像机硬件应用的非线性色调映射（相机响应函数）等不一致性。
运作原理
它作为一个学习型后处理模块，可以整合到辐射场训练流程中。它将这些光度变化建模为可微分的 CUDA kernels。该系统包含一个控制器，可直接从渲染图像中预测每帧的曝光和色彩校正，从而在推理过程中无需每帧参数即可实现一致的新视角合成。
适用对象
需要处理多个视频来源中不一致照明和摄像机设置的辐射场（如 NeRF 或 Gaussian Splatting）研究人员与开发者。
特色亮点
- 全面的光度建模：处理曝光、晕影、色彩校正和相机响应函数 (CRF)。
- 可微分 CUDA Kernels：为训练流程中的高效率而实现。
- 控制器蒸馏：包含在推理时预测校正的机制，消除了对每帧参数的依赖。
- 分析工具：提供导出 PDF 报告的工具，以可视化学习到的摄像机参数。
相关
- 项目
- 项目
- 项目
- 项目