nv-tlabs/ppisp

解決する課題

PPISP は、放射場再構成に使用される実世界のマルチカメラ映像キャプチャにおける測光変動の問題に対処します。自動露出による輝度変化、レンズの周辺光量落ち（ヴィネット）、ホワイトバランスのドリフト、カメラハードウェアによる非線形トーンマッピング（カメラ応答関数）などの不整合を補正します。

仕組み

放射場トレーニングパイプラインに統合可能な学習型ポストプロセッシングモジュールとして機能します。これらの測光変動を微分可能な CUDA kernels としてモデル化します。このシステムには、レンダリングされた画像からフレームごとの露出と色補正を直接予測するコントローラーが含まれており、推論時にフレームごとのパラメータを必要とせずに一貫した新規視点合成を実現します。

対象ユーザー

複数のビデオソース間で照明やカメラ設定が不一致な環境で、放射場（NeRF や Gaussian Splatting など）を扱う研究者や開発者。

ハイライト

• 包括的な測光モデリング: 露出、周辺光量落ち、色補正、カメラ応答関数 (CRF) に対応。
• 微分可能な CUDA Kernels: トレーニングパイプライン内での高効率な処理を実現。
• コントローラー蒸留: 推論時に補正を予測するメカニズムを搭載し、フレームごとのパラメータへの依存を排除。
• 分析ツール: 学習されたカメラパラメータを可視化する PDF レポートを出力するユーティリティを提供。