ai-toolkit: 一个用于在消费级硬件上微调 diffusion 图像、视频和音频模型的全方位训练套件

它解决了什么问题

AI Toolkit 是一个全方位训练套件，旨在让在消费级硬件上训练 diffusion 模型变得触手可及。它简化了微调图像、视频和音频模型的过程，而无需对底层训练流水线具备深厚的专业技术知识。

它是如何工作的

该工具包通过使用配置文件 (YAML) 和多种界面选择，为训练各种 diffusion 模型提供了一个统一的框架。用户可以通过命令行界面 (CLI) 或基于 Web 的图形用户界面 (GUI) 来启动、停止和监控训练任务。它支持 LoRA 和 LoKr 训练方法，允许用户针对模型的特定层进行训练或排除某些权重以优化过程。

适用人群

希望在自己的硬件或 RunPod 和 Modal 等云端 GPU 提供商上，针对特定风格或主题微调 diffusion 模型的 AI 艺术家、开发者和研究人员。

亮点

• 广泛的模型支持：支持广泛的最新图像模型（例如，FLUX.1, SDXL）、视频模型（例如，Wan 2.1, LTX-2）和音频模型（例如，Ace Step）。
• 灵活的训练：提供 LoRA 和 LoKr 训练，并能够使用 only_if_contains 和 ignore_if_contains 来针对特定的网络层进行训练。
• 用户友好的界面：包括一个用于轻松管理和监控任务的 Web UI，并提供可选的身份验证功能以实现安全的远程访问。
• 自动化的数据集处理：自动处理图像缩放和长宽比，无需手动裁剪或放大。
• 跨平台支持：兼容 Linux、Windows，并对 Silicon Macs 提供实验性支持。