NVlabs/FastGen

它解决了什么问题

FastGen 解决了扩散模型通常存在的生成速度缓慢的问题。它提供了一个框架，可以将大型、复杂的模型“蒸馏”或压缩成更小、更快的版本，从而以显著减少的步骤生成高质量的图像、视频和音频。

工作原理

该框架基于 PyTorch 构建，是各种加速和蒸馏技术的中心枢纽。它允许用户使用轨迹匹配（trajectory matching）和分布匹配（distribution matching）等方法来训练模型。该框架旨在与特定的网络架构或数据类型无关，这意味着通过灵活的配置系统，它可以应用于广泛的现有模型（如 FLUX 或 Wan）和模态（如图像转视频或视频转视频）。

适用人群

它专为需要优化模型以实现更快推理的生成式 AI 研究人员和开发人员而设计。对于那些希望实施大规模训练（20B+ 参数）或需要将自定义架构和数据集集成到标准化、高性能训练流水线中的用户来说，它特别有用。

亮点

• 支持多种生成任务，包括文本转图像、图像转视频以及多模态视频+音频。
• 包含丰富的蒸馏方法库，如 DMD2、flow maps 和 self-forcing。
• 使用 DDP 和 FSDP2 等分布式训练工具扩展到大型模型。
• 提供与 ComfyUI 的集成，用于学生模型的交互式实时测试。
• 高度模块化的设计允许轻松添加新的网络架构和自定义数据集。