modelscope/DiffSynth-Studio

DiffSynth‑Studio – 它是什么

DiffSynth‑Studio 是一个开源的扩散模型引擎。它整合了大量生成模型（图像、视频、音频和质量指标模型），并提供统一的运行时，可以在消费级硬件上运行推理和训练这些模型。

核心功能

功能	说明
模型支持	加载许多流行的开源扩散模型，用于图像、视频、音频生成和图像质量评估。
VRAM 管理	动态地在磁盘、系统 RAM 和 GPU 内存之间移动模型权重，因此即使 VRAM 很少的 GPU 也能运行大型模型。
量化	将权重转换为低精度格式（NF4、INT8、EntroPack），以减少 VRAM 使用量并加速 LoRA 训练。
任意训练	任何可以推理的模型也可以进行微调（全模型、LoRA 或自定义适配器）。
分割训练	跟踪管道中的每个张量，将训练分为两个阶段以减少内存压力。
CPU 卸载训练	在 LoRA 训练期间在 CPU 和 GPU 之间移动层，使大型模型微调能在单个消费级 GPU 上进行。

生态系统扩展

• DiffSynth‑ComfyUI – 一个节点包，让您可以在视觉工作流工具 ComfyUI 中使用此引擎。
• DiffSynth‑WebUI – 一个轻量级网页 UI，专注于一键 LoRA 训练。
• 模型集成技能 – 一个 ModelScope「Agent Skills」集合，用于自动化将新的扩散模型加入引擎。

近期亮点（2026）

• EntroPack – 一个张量压缩库（无损 + 速率控制的有损），用作量化后端。
• Qwen‑Image‑2.1、MiniMax‑H3、LingBot‑Video、LTX‑2.5 – 新增的图像/视频/音频模型，具有完整的低 VRAM 推理和训练支持。
• DiffSynth‑Music 和 ACE‑Step – 具有多种控制模式的可控音乐生成模型。
• Image‑to‑LoRA V2 – 一种将单次推理转换为 LoRA 风格风格转移模型的方法。

谁可能使用它？

• 研究人员，需要单一代码库来实验多种扩散模型，并在没有多 GPU 集群的情况下训练 LoRA。
• 开发者，正在构建消费级 AI 产品（例如私有云推理服务），这些产品必须在中等 GPU 上运行。
• 艺术家，想要一个即插即用的 UI（通过 ComfyUI 或 WebUI）来生成或微调图像、视频或音乐。

从哪里开始

1. 安装 PyPI 包 DiffSynth。
2. 遵循开发者文档（英文或中文）以了解管道使用、VRAM 管理和量化。
3. 选择一个示例文件夹（例如 examples/qwen_image_21/）来运行现成的脚本。
4. 如果您需要 UI，请尝试配套的存储库 DiffSynth‑ComfyUI 或 DiffSynth‑WebUI。

---

结论： DiffSynth‑Studio 是一个真正的、积极维护的框架，统一了扩散模型推理、低 VRAM 执行和灵活的训练（LoRA、适配器），涵盖图像、视频和音频领域。它稳固地处于 AI/ML 前沿技术领域。

---

链接

• PyPI: https://pypi.org/project/DiffSynth/
• 文档: https://diffsynth-studio-doc.readthedocs.io/
• ModelScope hub: https://modelscope.cn/collections/DiffSynth-Studio
• Discord 社区: https://discord.gg/Mm9suEeUDc

---

所有陈述均直接取自存储库的 README；未添加任何外部推测。

---

由 AI 助理为非专业受众生成。

---

注意：存储库正在积极更新（最新条目日期为 2026 年 9 月）。