aigc-apps/VideoX-Fun

解决的问题

VideoX-Fun 提供了一个全面的管道，用于生成高质量的 AI 图像和视频。它通过为 CogVideoX 和 Wan2.1/2.2 等多个模型家族提供统一的推理与训练框架，解决了 Diffusion Transformer (DiT) 模型部署和训练的复杂性。

工作原理

该项目实现了一个多功能生成管道，支持多种模态：

• 推理：用户可通过 Python 脚本、基于 Gradio 的 WebUI 或 ComfyUI 生成内容。支持文本到视频（T2V）、图像到视频（I2V）、视频到视频（V2V）以及使用 Canny、Pose、Depth 等的受控视频生成。
• 内存优化：为支持在消费级 GPU 上运行，提供了 GPU_memory_mode 选项，如 model_cpu_offload、model_cpu_offload_and_qfloat8（量化）和 sequential_cpu_offload。
• 训练：提供完整的数据预处理（分割、清洗、标注）和训练流程，支持基线模型以及针对特定风格转换的 LoRA（低秩适应）模型训练。
• 并行化：对于大模型，支持使用 xfuser 和 yunchang 实现多 GPU 推理，将工作负载分布在头和序列上。

适用人群

• AI 艺术家和创作者：希望从文本、图像或现有视频生成视频，并具备精确控制能力的人。
• 机器学习研究人员和开发者：需要使用自有数据集训练或微调 Diffusion Transformer 模型的标准化管道的人。
• GPU 资源受限的用户：希望通过量化和卸载在消费级硬件上运行大型视频模型的人。

主要亮点

• 多模型支持：兼容 CogVideoX-Fun、Wan2.1、Wan2.2 和 Qwen-Image 系列。
• 灵活控制：支持 Canny、Pose、Depth、MLSD、轨迹控制、相机镜头控制等高级控制机制。
• 强大的训练工具集：包含基线训练、LoRA 训练和基于奖励的 LoRA 训练脚本。
• 多种部署选项：提供 WebUI、ComfyUI 集成和直接 Python API 等多种入口。