Kosinkadink/ComfyUI-Advanced-ControlNet

解決する課題

このプロジェクトは、ComfyUIにおけるControlNetの高度なスケジューリングと制御を提供し、サンプリングのタイムステップやバッチ内の個々の潜在変数にわたってControlNetの強度がどのように変化するかをユーザーが精密に管理できるようにします。これは、基本的なControlNetの適用と、Auto1111などの他のツールで見られる詳細な制御（特にプロンプトとControlNetの重要度に関するもの）との間のギャップを埋めるものです。

仕組み

このシステムは、スケジュールを作成するために「Timestep Keyframes」と「Latent Keyframes」を導入しています。Timestep Keyframesは、サンプリングプロセスの特定のパーセンテージで有効になる設定（強度、ウェイト、マスク）を定義します。Latent Keyframesは、バッチ内の個々の画像（潜在変数）に対して特定の強度を割り当てることを可能にします。また、ベースおよび無条件の乗数を調整することで、「プロンプトの方が重要」や「ControlNetの方が重要」といった機能を再現する「Soft Weights」も実装しています。

対象者

画像生成プロセスにおいて、特にAnimateDiffやSVD-ControlNetsを使用している場合に、時間的または空間的な精密な制御を必要とするComfyUIユーザーのデジタルアーティストおよびAIビデオクリエイター。

ハイライト

• 包括的なモデルサポート: ControlNet、T2IAdapters、ControlLoRAs、ControlLLLite、SparseCtrls、SVD-ControlNets、およびReferenceモデルに対応。
• 詳細なスケジューリング: キーフレームによるタイムステップおよび潜在変数の強度スケジューリングをサポート。
• アテンションマスキング: 画像のどの部分にControlNetを適用するかを決定するためのマスク適用機能。
• 高度なウェイト付け: Soft Weightsを介して、Auto1111のプロンプト対ControlNetの重要度機能を再現。
• スライディングコンテキストのサポート: AnimateDiff-Evolvedで使用されるスライディングコンテキストサンプリングと完全な互換性。