ostris/ai-toolkit

The ultimate training toolkit for finetuning diffusion models

什么是 Ostris AI Toolkit?

Ostris AI Toolkit 是一个开源套件,让你在单机或云端 GPU 上训练和运行扩散模型(图像、视频、音频,甚至 LLM)。它提供:

  • 图形化 Web UI(在 http://localhost:8675 上运行),用于启动、停止和监控训练任务。
  • 用于相同任务的 CLI,在无头服务器上非常有用。
  • 一个实验性的“AI Toolkit Manager”,可以自动检测你的硬件,安装合适的 PyTorch 构建,创建虚拟环境,并捆绑 Node.js 和 FFmpeg,因此不会在系统范围内安装任何东西。
  • 支持来自 Hugging Face 的大量预训练扩散模型(FLUX、SDXL、Qwen-Image 等),涵盖图像生成、基于指令的编辑、视频生成、音频生成,甚至多模态 LLM。
  • 配置文件(YAML)允许你训练 LoRA 或 LoKr 适配器,定位特定层,并自定义超参数。
  • 用于 RunPod 和 Modal 等云平台的集成脚本,以及指向作者自己的 Ostris Cloud 服务的链接。

该工具包面向爱好者和研究人员,他们希望在消费级 GPU 上获得“一键式”体验,同时仍能提供高级用户可能需要的一切控制选项。


主要特性

特性 详情
模型目录 列出了 40 多个扩散模型(图像、视频、音频)和一个 LLM,每个都链接到它们的 Hugging Face 仓库。
训练 UI 使用 Node.js 构建的 Web UI;基于令牌的认证用于远程访问。
CLI / 管理器 `python -m manager install
LoRA / LoKr 支持 配置驱动的适配器;通过 only_if_contains / ignore_if_contains 进行层定位。
跨平台 适用于 Linux、macOS(Apple Silicon,实验性)和 Windows 的脚本。
云端就绪 现成的 RunPod pod 模板;Modal 部署指南;可选的 Ostris Cloud GPU 租赁。
数据集处理 简单的文件夹,包含 *.jpg/png 和对应的 *.txt 标题;自动分桶和调整大小。
安全性 UI 令牌(AI_TOOLKIT_AUTH)用于保护暴露的服务器。

谁会用?

  • 艺术家和创作者:想在自己的硬件上微调扩散模型,而不想编写样板代码的人。
  • 研究人员:需要快速在最新的 FLUX 或 SDXL 检查点上实验 LoRA/LoKr 的人。
  • 开发者:寻找捆绑了 PyTorch、Node、FFmpeg 和 UI 的自包含环境的人。
  • 学生:想要动手实践扩散训练,并在浏览器中看到结果的人。

快速开始(简要)

  1. 克隆仓库。
  2. 运行平台特定的 run_*.sh/.bat 脚本——管理器将创建虚拟环境,安装正确的 CUDA 启用 PyTorch,并启动 UI。
  3. 从 config/examples/ 中选择一个配置(例如 train_lora_flux_24gb.yaml),编辑路径/标题,然后运行:
    python run.py config/your_config.yml
    
  4. 在 Web UI 或终端中监控进度。

限制 / 注意事项

  • AI Toolkit Manager 被标记为实验性;你总是可以回退到手动安装步骤。
  • 只支持 JPEG/PNG 图像;WebP 目前存在缺陷。
  • UI 是可选的——训练可以完全脚本化。
  • 某些模型(例如 FLUX.1-dev)需要 Hugging Face 访问令牌。

许可证与社区

该项目是免费开源的(README 中未指定许可证)。作者鼓励用户加入 Discord 以获取支持,并列出赞助选项,供那些希望资助持续开发的人使用。


简而言之: Ostris AI Toolkit 是一个功能丰富的扩散模型训练套件,既提供便捷的 Web UI,又提供完整的 CLI 控制,并具有广泛的模型支持和云部署指南。


以上所有信息均直接来自仓库的 README;没有添加外部假设。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目