chengzeyi/Comfy-WaveSpeed
https://wavespeed.ai/ [WIP] The all in one inference optimization solution for ComfyUI, universal, flexible, and fast.
解决的问题
Comfy-WaveSpeed 为 ComfyUI 提供了推理优化，减少了使用大型扩散模型生成图像和视频所需的时间和计算成本。它解决了 FLUX、SD3.5 和 HunyuanVideo 等高分辨率或复杂模型在本地推理时速度缓慢的问题。
工作原理
该项目实现了两种主要优化技术：
- 首块缓存（FBCache）： 这种动态缓存算法使用第一个 Transformer 块的残差输出作为指标。如果当前与上一次残差输出的差异足够小，系统将重用上一次的最终残差输出，并跳过后续所有 Transformer 块的计算，从而可能将推理速度提升 1.5 倍至 3.0 倍。
- 增强的
torch.compile： 标准 PyTorch 编译过程的改进版本，可优化模型的执行图。与原始的 TorchCompileModel 节点不同，此版本支持 LoRA。
适用人群
在本地 GPU 上运行扩散模型的 ComfyUI 用户，希望在不显著降低图像或视频质量的前提下提升生成速度。
主要亮点
- 广泛模型支持： 支持 FLUX、LTXV、HunyuanVideo、SD3.5 和 SDXL。
- 显著提速： FBCache 可在保持高精度的同时实现高达 2 倍的加速。
- LoRA 兼容： 增强的编译节点支持 LoRA 模型的使用。
- 灵活配置： 用户可根据所用模型调整
residual_diff_threashold，在速度与质量之间取得平衡。
相关
- 项目
- 项目
hao-ai-lab/FastVideoFastVideo 是一个用于训练、微调和实时推理视频扩散模型的开源框架。它提供稀疏注意力蒸馏、可扩展的多 GPU 训练以及跨平台支持（NVIDIA GPU、通过 MLX 支持 Apple Silicon、ARM DGX Spark）。该库包含 CLI、Python API 和用于实时视频编辑的 Dreamverse 应用。通过 `uv` 安装，并用几行 Python 代码即可开始生成视频。
- 项目
vipshop/cache-ditCache‑DiT 是一个 PyTorch 原生推理引擎，通过混合缓存、各种并行化策略、量化和 CPU 卸载来加速扩散 Transformer（DiT）模型。它基于 Hugging Face Diffusers，支持 40 多个模型系列（图像、视频、音频、3D），并与 SGLang、vLLM‑Omni、TensorRT‑LLM 和 ComfyUI 等工具集成。该包提供高达 9 倍的加速，适用于 NVIDIA、AMD 和 Ascend 硬件，并提供一个 GitHub SKILL 以方便基于代理的模型集成。
- 项目
- 项目
ModelTC/LightX2VLightX2V 是一个开源的推理框架，用于快速生成图像和视频。它支持多种模型（MiniMax‑H3、LTX‑2、HunyuanVideo‑1.5、Wan‑2.x、Qwen‑Image 等），并提供加速技巧，例如 4 步蒸馏 LoRA、FP8/NVFP4 量化、张量并行，以及在多种加速器上的解耦部署。用户通过单个 `LightX2VPipeline` 类进行交互，选择模型、变体和 JSON 配置，然后以任务（例如 t2av、t2v、i2i）调用 `generate`。报告的基准测试显示，在 H100 GPU 上相比 Diffusers 最高可达约 4 倍加速。该项目提供 Docker 镜像、macOS 应用、在线演示，以及丰富的文档和示例。