lbouaraba/comfyui-krea2edit

何を解決するか

このプロジェクトは、ComfyUI内でのKrea 2モデル向けの指示ベースの画像編集を可能にします。テキストプロンプト（例："車をマットブラックに再色指定する"）を使用して画像を編集しつつ、元の被写体のアイデンティティと外見を維持できるようにします。これにより、標準的なテキストエンコーダーを使用する場合に生じる類似性の喪失や意味的根拠の欠如という問題を解決します。

動作方法

システムは、画像の見た目とプロンプトの要求内容の両方をモデルが理解できるようにする二重条件付けアプローチを使用しています：

1. 外見の注入：元の画像がVAEの潜在変数トークンとして拡散モデルに注入され、視覚的アイデンティティが保持されます。
2. 意味的根拠：元の画像はQwen3-VLテキストエンコーダーにも入力され、モデルがテキスト指示を処理する際に画像を「見る」ことができるようになります。

主に2つのノードを提供しています：Krea2EditModelPatch（画像の潜在変数と幾何学的構造（アスペクト比の適合を含む）を処理）とKrea2EditGroundedEncode（画像に基づくテキストエンコーディング）。

対象ユーザー

元の被写体のアイデンティティを損なわず、再色指定、オブジェクトの追加/挿入、属性の変更、キャラクターの再配置などの高忠実度の画像編集を実行したいComfyUIユーザー向けです。

特徴

• 二重条件付け：潜在変数トークンと画像に基づくテキストエンコーディングを組み合わせ、優れたアイデンティティ保持を実現。
• 柔軟な参照幾何学：出力のアスペクト比に応じて元の画像を適合させ、歪みを防ぐ。
• マルチリファレンス対応：複雑な編集に向け、2つのリファレンス画像（例：人物とシーン）を使用可能。
• VRAM最適化：VAEのオフロードによるサンプリング時のパフォーマンス低下を防ぐために、特定の「ピクセルパス」とtarget_latentの接続を含む。