caiyuanhao1998/HDR-GS
"HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting" (NeurIPS 2024)
解決する課題
このプロジェクトは、既存の画像からシーンの新しい視点を生成する問題を扱いますが、特に高ダイナミックレンジ (HDR) コンテンツに焦点を当てています。NeRFのような従来の手法は低速で、1視点あたり数分かかることも珍しくありません。HDR-GSは、より高速な技術であるGaussian splattingを使用することで、HDRの新規視点生成を1000倍の速度で実現すると主張しています。また、既存のHDRデータセットは3D Gaussian Splattingパイプラインと互換性がなかったため、再キャリブレーションされたカメラポーズとデータセットも提供しています。
仕組み
HDR-GSは、3Dシーンを位置、色、不透明度などのパラメータを持つガウスプリミティブの集合として表現します。HDRのために、この手法は高ダイナミックレンジの放射輝度値を標準的な画像に変換するトーンマッパーを学習します。パイプラインには、カメラポーズを再キャリブレーションし、初期点群を生成するためのstructure-from-motionが含まれています。コードには、合成シーンと実写シーンの両方のトレーニングスクリプトと、学習済みモデルをロードして新規視点やスパイラルビデオをレンダリングするためのテストスクリプトが含まれています。
対象読者
新規視点合成、HDRイメージング、またはリアルタイムレンダリングに取り組む研究者や開発者を対象としています。Gaussian splattingを試したい方や、NeurIPS 2024の論文の結果を再現したい方にも役立ちます。ユーザーはコマンドラインツールに慣れており、トレーニング用のGPUを持っていることが推奨されます。
ハイライト
- NeurIPS 2024採択
- 従来のNeRFベースのHDR手法と比較して1000倍の高速化を実現
- 合成シーンおよび実写シーンのトレーニングとテスト用コードを含む
- Google Drive、Baidu Disk、Hugging Face経由で再キャリブレーションされたデータセットと学習済みモデルを提供
- プロジェクトページでインタラクティブな比較結果を提供
- 提供されたスクリプトによる直接的なモデルロードとスパイラルビデオのレンダリングをサポート
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト