PozzettiAndrea/ComfyUI-DepthAnythingV3

何を解決するか

このプロジェクトは Depth Anything V3 モデルを ComfyUI に統合し、画像および動画から空間的に一貫した深度マップを生成できるようにします。視覚入力から視覚空間や幾何学を復元する問題を解決し、ControlNet での使用を目的とした 2D 深度マッピングと 3D 再構成の両方のツールを提供します。

動作方法

ComfyUI 用のカスタムノードを提供し、さまざまな Depth Anything V3 モデルバリアント（Small から Giant まで）と連携します。選択されたモデルに応じて、単眼深度推定、メトリック深度推定、マルチビュー注意機構を用いて動画フレーム間での深度の一貫性を確保します。また、V2-Style などの特別な正規化モードや、深度マップを 3D ポイントクラウドやメッシュに変換するツールも含まれます。

対象ユーザー

• AIアーティストおよびデザイナー：ControlNet ワークフローに高品質な深度マップが必要な ComfyUI ユーザー。
• 3D開発者：単一または複数の画像から 3D ポイントクラウドやメッシュを再構成したいユーザー。
• 動画クリエイター：動画フレーム間で滑らかで一貫した深度推定が必要なユーザー。

特徴

• 複数のモデルバリアント：軽量な DA3-Small（80M）から高精細な DA3-Nested-Giant-Large（1.4B）まで幅広いモデルをサポート。
• 3D再構成：視覚入力から 3D ポイントクラウドやメッシュを生成できる機能。
• マルチビュー一貫性：クロスアテンション機能を用いて動画フレーム間での深度の一貫性を維持。
• 特別な出力：3D再構成における背景ノイズをフィルタリングするためのスカイセグメンテーションマスクを提供。
• 柔軟な正規化：2D画像生成または3D空間復元に適した異なる正規化モードを提供。