NVlabs/FastGen
NVIDIA FastGen: Fast Generation from Diffusion Models
What it solves
FastGen 旨在加速扩散模型的生成过程。它提供了一个统一的框架，可应用多种加速和蒸馏技术，使生成模型能够更快地产生高质量输出，并支持 10B+ 参数规模的大规模模型训练。
How it works
该框架对网络和数据保持中立，用户可以自行集成自己的模型结构和数据集。实现了丰富的蒸馏和训练方法，包括一致性模型（CM、sCM、TCM、MeanFlow）、分布匹配（DMD2、f-Distill、LADD、CausVid、Self-Forcing）、微调（SFT、CausalSFT）以及知识蒸馏（KD、CausalKD）。
它基于 PyTorch，并通过 DDP 与 FSDP2 支持分布式训练，以模型分片方式处理超大模型。
Who it’s for
面向从事生成式 AI 的研究者和开发者，尤其是希望加速基于扩散的图像和视频生成（T2I、I2V、V2V）的用户。
Highlights
- Broad Modality Support: 支持文本到图像、图像到视频、视频到视频等任务。
- Extensive Method Library: 包含完整的蒸馏与加速算法库。
- Large‑Scale Capability: 使用 FSDP2 支持训练 100 亿参数以上的模型。
- Flexible Architecture: 对具体网络或数据集不设限制，内置对 SDXL、Flux、CogVideoX 等模型的支持。