wildminder/ComfyUI-DyPE

解決的問題

ComfyUI-DyPE 提供無需訓練的方法，使用 Diffusion Transformers (DiT) 生成超高清解析度（4K 及以上）影像。它可防止在將預訓練模型推至遠超其原始訓練解析度時常見的高解析度問題，如空間錯亂（重複或坍塌的結構）和偽影。

工作原理

此專案實作了多種高階補丁技術，可插入 ComfyUI 工作流程中模型載入器之後：

• 動態位置外推 (DyPE): 在去噪過程中調整位置編碼，早期處理低頻結構，後期處理細節。
• 空間位置對齊 (SPA): 透過捆綁標記位置並平均多個變體的注意力輸出來修復空間錯亂。
• 頭自適應注意力剪枝 (HAP): 基於預校準的範圍計畫使用區塊稀疏注意力，加速推論，降低高解析度注意力的計算負載。
• SEGA: 基於潛在空間的頻率譜進行內容感知的頻譜銳化。
• PixelRush & FreeScale: 提供基於級聯的精煉和尺度融合注意力，用於放大現有影像或在更高解析度下生成影像。

適用對象

使用 ComfyUI 且希望使用 FLUX、Qwen Image、Z-Image、Anima/Cosmos 等模型生成高保真 4K+ 影像，而無需重新訓練模型的數位藝術家與 AI 研究人員。

主要亮點

• 多架構支援： 支援 FLUX、Nunchaku、Qwen Image、Krea-2、Z-Image 與 Anima/Cosmos。
• 無需訓練： 無需重新訓練或複雜的工作流程變更；只需透過單一節點對模型進行補丁即可。
• 高解析度能力： 支援 4096×4096 及以上解析度生成。
• 推論加速： HAP 在 4K 解析度下可實現最高 5.5 倍的注意力速度提升。
• 零開銷： 多數調整即時進行，對效能影響可忽略不計。