RWTHVision/diffusion-e2e-ft

何を解決するか

このプロジェクトは、深度および表面法線推定に使用される確率的拡散推定器の非効率性と遅い推論速度に対処しています。標準的な拡散モデルは結果を得るために複数のノイズ除去ステップを必要としますが、このアプローチでは、計算時間を大幅に削減しながら、精度を維持または向上させる単一ステップの決定論的モデルの作成を可能にします。

仕組み

このプロジェクトは、画像条件付き拡散モデルに対するエンドツーエンド（E2E）微調整を実装しています。事前学習済みの拡散推定器（Marigold や GeoWizard など）または汎用モデル（Stable Diffusion など）を出発点として、タスク固有の損失を適用することで、モデルを決定論的推定器に変換します。微調整されたこれらのモデルは、ゼロノイズを使用して単一の推論ステップで深度マップや表面法線を生成でき、通常の拡散モデルに必要な反復的サンプリングプロセスを回避します。

対象ユーザー

3Dシーン理解に取り組むコンピュータビジョン研究者および開発者向けです。特に、単一のRGB画像から高速かつ高品質な深度および表面法線推定が必要な方々に適しています。

特徴

• 単一ステップ推論: NVIDIA RTX 4090 上で1画像あたり最低121msまで推論時間を短縮可能。
• 決定論的出力: 拡散サンプリングの確率的性質を排除し、より一貫した結果を実現。
• 多様なベースモデル: Stable Diffusion、Marigold、GeoWizard からの微調整をサポート。
• マルチモーダル: 深度推定と表面法線推定の両方に対応する専用チェックポイントを提供。