chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] The all in one inference optimization solution for ComfyUI, universal, flexible, and fast.

何を解決するか

Comfy-WaveSpeed は ComfyUI 用の推論最適化ソリューションであり、大規模な拡散モデルを使用して画像や動画を生成する際に必要な時間と計算コストを削減します。FLUX、SD3.5、HunyuanVideo などの高解像度または複雑なモデルにおけるローカル推論の遅さを解決します。

仕組み

本プロジェクトは2つの主要な最適化技術を実装しています：

  1. 最初のブロックキャッシュ (FBCache): この動的キャッシュアルゴリズムは、最初のトランスフォーマーブロックの残差出力を指標として使用します。現在の残差出力と前の残差出力の差が十分に小さい場合、システムは前の最終残差出力を再利用し、以降のすべてのトランスフォーマーブロックの計算をスキップします。これにより、推論速度が最大3.0倍まで向上する可能性があります。
  2. 強化された torch.compile: 標準的なPyTorchコンパイルプロセスの改善版で、モデルの実行グラフを最適化します。元の TorchCompileModel ノードとは異なり、このバージョンはLoRAと互換性があります。

対象ユーザー

自前のGPU上でローカルに拡散モデルを実行し、画像や動画の生成速度を向上させたいComfyUIユーザー。

特徴

  • 広範なモデル対応: FLUX、LTXV、HunyuanVideo、SD3.5、SDXL に対応。
  • 顕著な高速化: FBCacheは高精度を維持しながら最大2倍の高速化を実現。
  • LoRA互換性: 強化されたコンパイルノードはLoRAモデルの使用をサポート。
  • 柔軟な設定: residual_diff_threashold を調整することで、使用する特定のモデルに応じて速度と品質のバランスを調整可能。

関連

  • プロジェクト
    Jasonzzt/ComfyUI-CacheDiT

    Diffusion Transformer (DiT) モデルの生成を知能的キャッシュによって加速する ComfyUI 拡張機能。画像および動画生成において、1.4x から 2.0x の高速化を実現。

  • プロジェクト
    hao-ai-lab/FastVideo

    FastVideoは、動画拡散モデルの学習、微調整、リアルタイム推論を行うオープンソースフレームワークです。スパースアテンションによる蒸留、スケーラブルなマルチGPU学習、NVIDIA GPU、Apple Silicon（MLX経由）、ARM DGX Sparkを含むクロスプラットフォーム対応を提供します。CLI、Python API、リアルタイム動画編集用のDreamverseアプリを備えています。`uv`経由でインストールし、数行のPythonコードで動画生成を開始できます。

  • プロジェクト
    vipshop/cache-dit

    Cache‑DiTは、ハイブリッドキャッシュ、さまざまな並列処理戦略、量子化、CPUオフロードを備えた拡散トランスフォーマー（DiT）モデルを高速化するPyTorchネイティブの推論エンジンです。Hugging Face Diffusersに基づいており、40以上のモデルファミリー（画像、動画、音声、3D）をサポートし、SGLang、vLLM‑Omni、TensorRT‑LLM、ComfyUIなどのツールと統合します。このパッケージは最大9倍の高速化を実現し、NVIDIA、AMD、Ascendハードウェアで動作し、エージェント支援によるモデル統合を容易にするGitHub SKILLを提供します。

  • プロジェクト
    NVlabs/FastGen

    画像・動画生成のために、さまざまな蒸留・加速手法を用いて拡散モデルを高速化する PyTorch ベースのフレームワーク。

  • プロジェクト
    ModelTC/LightX2V

    LightX2V は、高速な画像・動画生成のためのオープンソース推論フレームワークです。多くのモデル（MiniMax‑H3、LTX‑2、HunyuanVideo‑1.5、Wan‑2.x、Qwen‑Image など）をサポートし、4 ステップ蒸留 LoRA、FP8/NVFP4 量子化、テンソル並列化、さまざまなアクセラレータ上での分離デプロイといった高速化手法を提供します。ユーザーは単一の `LightX2VPipeline` クラスを通じて操作し、モデル、バリアント、JSON 設定を選択して、タスク（例：t2av、t2v、i2i）を指定して `generate` を呼び出します。報告されているベンチマークでは、H100 GPU 上で Diffusers に対して最大約 4 倍の高速化が示されています。このプロジェクトは Docker イメージ、macOS アプリ、オンラインデモ、そして充実したドキュメントとサンプルを提供しています。