shootthesound/comfyUI-Realtime-Lora

何を解決するか

このツールキットは、ComfyUI内に統合されたインターフェースを提供し、さまざまな画像および動画生成モデル用のLoRA（低ランク適応）のトレーニング、分析、選択的ロードを可能にします。外部のトレーニングソフトウェアを切り替える必要がなく、モデル内の特定のブロックがLoRAによってどのように影響を受けるかを微細に調整でき、最終出力に対するより細かい制御を実現します。

どう動くか

このプロジェクトは、sd-scripts、Musubi Tuner、およびAI-Toolkitの3つの主要なトレーニングバックエンドをComfyUIのノードに直接統合しています。モデルパイプラインのさまざまな段階に対応するツールセットを提供しています：

• トレーニング：SDXL、SD 1.5、FLUX、Z-Image、Qwen Image、Wan 2.2などのモデル用に専用のノードがあり、画像からリアルタイムでトレーニングが可能です。
• 分析と選択的ロード："Analyzer"ノードはLoRAフォーマット（例：Standard、LoKR、LoHa）を検出し、最も影響力のあるブロックを特定します。"Selective Loader"ノードでは、個々のブロックやレイヤーの有効/無効切り替えや強度調整が可能になります。
• 強度スケジューリング：V2ノードでは、キーフレームとプリセット（例：フェード、パルス）を使用して、LoRAの適用強度を変化させることができます。
• ディープデバイアス除去器とインスペクター：ブロックレベルの制御を超えて、DIT、VAE、テキストエンコーダーの個々のサブコンポーネント（アテンションヘッド、MLP、ノーマライゼーション）をスケーリングし、バイアスを修正したり、挙動を微調整したりできます。

対象ユーザー

カスタムの主題やスタイルをトレーニングしたいデジタルアーティスト、AI研究者、ComfyUIユーザーで、そのLoRAがベースモデルにどのように適用されるかを正確かつ手術的な制御で行いたい方。

主な特徴

• マルチバックエンド対応：sd-scripts、Musubi Tuner、AI-Toolkitへの統合されたアクセス。
• 広範なモデル互換性：SDXL、SD 1.5、FLUX（Klein 4B/9Bを含む）、Z-Image、Qwen Image、Wan 2.2をサポート。
• 手術的制御：DIT、VAE、テキストエンコーダーのブロックレベルおよびサブコンポーネントレベル（Deep Debiaser）での編集が可能。
• 動的適用：40以上のプリセットを用いた、生成中に変化するLoRAの影響を制御する強度スケジューリング。
• 統合ワークフロー：ComfyUIインターフェースから離れることなく、LoRAのトレーニングと適用が可能。