wildminder/ComfyUI-DyPE

何を解決するか

ComfyUI-DyPE は、Diffusion Transformers (DiT) を使用して、超高解像度（4K 以上）の画像を生成するためのトレーニング不要な手法を提供します。事前に訓練されたモデルをそのネイティブな訓練解像度を超えて使用する際に発生する、空間的な不整合（繰り返しや崩壊した構造）やアーティファクトを防ぎます。

仕組み

このプロジェクトは、モデルローダーの後に ComfyUI ワークフローに挿入可能な、いくつかの高度なパッチ技術を実装しています：

• Dynamic Position Extrapolation (DyPE): 噪音除去プロセス中に位置符号を調整し、低周波構造を早期に処理し、細部を後で処理します。
• Spatial Position Alignment (SPA): トークンの位置を束ね、複数のバリエーションにおけるアテンション出力を平均化することで、空間的な不整合を修正します。
• Head-Adaptive attention Pruning (HAP): 事前に調整されたスコープ計画に基づいてブロックスパースアテンションを使用し、超高解像度アテンションの計算負荷を削減することで推論を高速化します。
• SEGA: ラテンの周波数スペクトルに基づいたコンテンツ認識型スペクトルシャープニングを使用します。
• PixelRush & FreeScale: カスケードベースの精緻化とスケール融合アテンションを提供し、既存の画像の拡大やより高い解像度での生成に対応します。

対象ユーザー

FLUX、Qwen Image、Z-Image、Anima/Cosmos などのモデルを使用して、再訓練なしに高精細な 4K+ 画像を生成したい ComfyUI を使用するデジタルアーティストや AI 研究者。

特徴

• マルチアーキテクチャ対応: FLUX、Nunchaku、Qwen Image、Krea-2、Z-Image、Anima/Cosmos に対応。
• トレーニング不要: 再訓練や複雑なワークフロー変更は不要。単一のノードでモデルにパッチを適用するだけ。
• 超高解像度対応: 4096×4096 以上の解像度での生成を可能にします。
• 推論高速化: HAP により 4K 解像度で最大 5.5 倍のアテンション速度向上が可能。
• オーバーヘッドゼロ: 多くの調整はリアルタイムで行われ、性能への影響はほとんどありません。