ostris/ai-toolkit

The ultimate training toolkit for finetuning diffusion models

它解决了什么问题

AI Toolkit 是一套全功能的训练套件,旨在让消费级硬件也能轻松训练扩散模型。它简化了图像、视频和音频模型的微调流程,提供完整的工具链,从数据集准备到模型保存全部覆盖。

工作原理

该工具套件同时提供命令行界面 (CLI) 与基于网页的图形用户界面 (GUI) 来管理训练任务。用户可以使用 YAML 文件配置训练运行,指定模型类型、网络设置(如 LoRA 或 LoKr)以及数据集路径。系统会自动处理图像缩放和宽高比分桶,免去手动裁剪的需求。

适用对象

AI 艺术家、开发者和研究者,想在自己的硬件或通过 RunPod、Modal 等云 GPU 提供商微调扩散模型(如 FLUX、SDXL、Wan 2.1)。

亮点

  • 广泛的模型支持:支持多种图像、指令/编辑、视频和音频扩散模型,包括 FLUX 系列、SDXL 与 Wan 2.1。
  • 灵活的训练方式:支持 LoRA 与 LoKr 训练,并可使用 only_if_containsignore_if_contains 过滤器针对或排除特定模型层。
  • 用户友好界面:提供网页 UI 用于启动、停止和监控任务,可选的身份验证确保远程访问安全。
  • 硬件可及性:针对消费级 GPU 进行优化,并提供与云 GPU 提供商的轻松集成。
  • 简化的数据集处理:自动管理图像降采样和宽高比分桶,适配不同比例的图像。