AlibabaResearch/SparkDiffusion

SparkDiffusion: Accelerating DiT video generation by 265× via joint Sparsity, Distillation, Quantization, etc.

解决的问题

SparkDiffusion 是为加速 Diffusion Transformer (DiT) 视频生成模型推理而设计的框架，特别针对 Wan 2.1 和 Wan 2.2 模型。它解决了密集多步生成带来的高计算成本问题，可在单张 GPU 上实现高达 265 倍的推理速度提升，同时保持生成质量。

工作原理

该框架采用三管齐下的方法实现加速：

  1. 稀疏低秩注意力（RoLa）： 一种高效的注意力设计，在训练和推理过程中均降低注意力机制的复杂度。
  2. 少步蒸馏（CrossDistill）： 一种轨迹级混合蒸馏技术，使模型能在显著更少的步骤内（例如 3-4 步）生成高质量视频。
  3. 自研高性能算子： 自主开发的无依赖推理算子，优化稀疏注意力机制的执行效率。

此外，该框架支持权重-激活量化，并提供稀疏注意力微调和蒸馏的端到端流水线。

适用人群

需要显著降低文本到视频（T2V）和图像到视频（I2V）生成延迟与计算需求的视频扩散模型开发者和研究人员。

主要亮点

  • 巨大加速： 相比密集基线实现 200 倍以上的端到端推理加速。
  • Wan 模型支持： 完全兼容 Wan 2.1 和 Wan 2.2 架构。
  • 集成流水线： 提供稀疏注意力微调、少步蒸馏和优化推理的工具。
  • 自研算子： 包含无需外部依赖的高性能融合内核，实现高效推理。
  • 可插拔注册表： 无需修改核心代码即可集成自定义注意力变体。

相关

  • 项目
    TencentARC/WorldCrafter

    WorldCrafter 是一个研究级视频生成模型，可从单个图像或文本提示创建可控制摄像机且一致的视频。它存储隐式的 3D 感知记忆，使场景在不同视角间保持一致。该仓库提供完整大小的 Base 模型和蒸馏后的 Fast 模型、用于图像到视频和文本到视频推理的脚本、通过 Qwen‑VL 自动生成提示，以及开源的交互式网页演示。设置使用 Python 3.11 搭配 PyTorch 2.10（CUDA 12.8），通过 uv 或 conda，模型权重托管在 Hugging Face 上。

  • 项目
    yizhi-chengzi/video-ai-talking

    一个本地 Web 应用，利用 Alibaba Bailian VideoRetalk 实现唇形同步，Bailian 或 Volcengine 的 TTS，可选的 DeepSeek 脚本生成，以及 FFmpeg 进行最终渲染，将无声的面部摄像头视频转换为完整的对话头像视频。

  • 项目
    vllm-project/vime

    Vime 是一个开源框架，结合了 Megatron‑LM 训练和 vLLM 推理，以实现大型语言模型的高性能强化学习微调。它提供了统一的数据流循环、灵活的自定义生成钩子，并支持许多现代 LLM（Qwen、DeepSeek、LLaMA 3）。

  • 项目
    Carasibana/ComfyUI-H3-FaceRefine

    ComfyUI‑H3‑FaceRefine 添加了自定义节点，用于检测、裁剪、重新生成并缝合 MiniMax H3 视频中的微小人脸，修复模型在小头上的表现不佳问题。提供自动与手动人脸选择工作流、稳健追踪、可选切帧检测，并与现有 MiniMax H3 管道无缝集成。