haidog-yaqub/MeanFlow

解决的问题

MeanFlow 旨在满足高质量单步生成建模的需求。传统的生成模型通常需要多个迭代步骤才能生成高质量图像，这可能导致速度较慢。本项目提供了一个框架，用于训练能够在单步内生成结果的模型。

工作原理

本项目是 MeanFlow 和 Improved MeanFlow (iMF) 研究论文的 PyTorch 实现。它采用了双头 Diffusion Transformer (DiT) 架构，其中一个头处理 MeanFlow 计算，另一个头管理流匹配 (flow matching)。该框架支持无分类器引导 (CFG) 蒸馏，允许用户通过比例参数控制生成质量。它包含针对各种数据集（包括 MNIST、CIFAR-10 和潜在 ImageNet）的基于配置的训练。

适用人群

本仓库旨在为从事快速生成建模研究的开发者提供服务，特别是那些更倾向于使用 PyTorch 实现而非原始 JAX 代码的用户。它适合希望尝试图像、音频或语音转换任务的单步生成实验的人员。

主要亮点

• 实现了原始 MeanFlow 和更稳定的 Improved MeanFlow (iMF)。
• 通过 Hugging Face Accelerate 支持单 GPU 和多 GPU 训练。
• 包含用于改进生成控制的无分类器引导 (CFG)。
• 提供模块化配置系统，便于针对不同数据集进行实验。
• 兼容使用 VAE 的潜在图像训练。