prs-eth/Marigold

何を解決するか

Marigoldは、単一の画像（モノクロ分析）から高解像度の画像特性を抽出する方法を提供します。高価な専用センサーや、各新しいタスクに合わせた膨大な現実世界データセットを必要とせずに、深度、表面法線、および内在画像特性（アルベドや照明など）を正確に推定する問題を解決します。

仕組み

Marigoldは、事前学習済みの潜在拡散モデル（特にStable Diffusion）を再利用し、密な画像分析に適応させます。新しい画像を生成するのではなく、微調整プロトコルと小さな合成データセットを用いて、生成モデルに既に蓄積された豊富な視覚知識を活用します。これにより、ゼロショット一般化が可能となり、これまで見たことのない画像を正確に分析できます。

対象ユーザー

このツールは、3Dシーン再構築、画像分析、グラフィックスに取り組むコンピュータビジョン研究者や開発者、および標準的な2D画像から高品質な深度マップや法線マップを必要とする人々向けです。

特徴

• マルチモーダル分析: モノクロ深度推定、表面法線予測、および内在画像分解（外観と照明）をサポート。
• Hugging Face統合: diffusersライブラリにパイプラインが統合され、簡単にアクセス可能。
• 効率的な学習: 小さな合成データセットを使用し、1つのGPUで数日間で学習可能。
• ゼロショット一般化: さらなる訓練なしに、未確認のデータに対して最先端の性能を示す。