modelscope/DiffSynth-Studio

Enjoy the magic of Diffusion models!

What it solves

DiffSynth-Studio 提供一个统一的开源引擎，用于操作 Diffusion 模型，降低研究人员和开发者探索、训练与部署生成式 AI 的技术门槛。它解决了整合各种前沿模型的复杂性，以及在训练和推理时管理 GPU VRAM 等硬件限制的问题。

How it works

它是一个灵活的框架，支持包括文本生成图像、图像编辑、音频生成视频、文本生成音乐等多种模态。引擎实现了先进的内存管理技术，如层级磁盘卸载和 CPU 卸载训练，使大型模型能够在消费级硬件上运行。它还提供名为 "Diffusion Templates" 的插件式框架，简化可控生成模型的创建。

Who it’s for

  • Academic Researchers：针对积极的技术探索和前沿模型能力的研究者。
  • AI Developers：希望快速实现 "wild ideas" 或将外部 Diffusion 模型整合到工作流中的开发者。
  • Content Creators：想利用高性能生成模型进行图像、视频和音频合成的内容创作者。

Highlights

  • Broad Model Support：整合了包括 FLUX.2、Z-Image、Wan、LTX-2、Qwen-Image 在内的广泛模型。
  • VRAM Optimization：具备 CPU 卸载训练和层级磁盘卸载，降低 GPU 内存需求。
  • Advanced Training Tools：支持 Split Training（将数据处理与训练分离）、Differential LoRA 与 FP8 精度训练。
  • Multimodal Capabilities：支持文本生成图像、图像生成视频、音频驱动视频生成和文本生成音乐。
  • Diffusion Templates：用于训练可控生成模型的专门插件框架。