chengzeyi/Comfy-WaveSpeed

何を解決するか

Comfy-WaveSpeed は ComfyUI 用の推論最適化ソリューションであり、大規模な拡散モデルを使用して画像や動画を生成する際に必要な時間と計算コストを削減します。FLUX、SD3.5、HunyuanVideo などの高解像度または複雑なモデルにおけるローカル推論の遅さを解決します。

仕組み

本プロジェクトは2つの主要な最適化技術を実装しています：

1. 最初のブロックキャッシュ (FBCache): この動的キャッシュアルゴリズムは、最初のトランスフォーマーブロックの残差出力を指標として使用します。現在の残差出力と前の残差出力の差が十分に小さい場合、システムは前の最終残差出力を再利用し、以降のすべてのトランスフォーマーブロックの計算をスキップします。これにより、推論速度が最大3.0倍まで向上する可能性があります。
2. 強化された torch.compile: 標準的なPyTorchコンパイルプロセスの改善版で、モデルの実行グラフを最適化します。元の TorchCompileModel ノードとは異なり、このバージョンはLoRAと互換性があります。

対象ユーザー

自前のGPU上でローカルに拡散モデルを実行し、画像や動画の生成速度を向上させたいComfyUIユーザー。

特徴

• 広範なモデル対応: FLUX、LTXV、HunyuanVideo、SD3.5、SDXL に対応。
• 顕著な高速化: FBCacheは高精度を維持しながら最大2倍の高速化を実現。
• LoRA互換性: 強化されたコンパイルノードはLoRAモデルの使用をサポート。
• 柔軟な設定: residual_diff_threashold を調整することで、使用する特定のモデルに応じて速度と品質のバランスを調整可能。