ostris/ai-toolkit
The ultimate training toolkit for finetuning diffusion models
什么是 Ostris AI Toolkit?
Ostris AI Toolkit 是一个开源套件,让你在单机或云端 GPU 上训练和运行扩散模型(图像、视频、音频,甚至 LLM)。它提供:
- 图形化 Web UI(在
http://localhost:8675上运行),用于启动、停止和监控训练任务。 - 用于相同任务的 CLI,在无头服务器上非常有用。
- 一个实验性的“AI Toolkit Manager”,可以自动检测你的硬件,安装合适的 PyTorch 构建,创建虚拟环境,并捆绑 Node.js 和 FFmpeg,因此不会在系统范围内安装任何东西。
- 支持来自 Hugging Face 的大量预训练扩散模型(FLUX、SDXL、Qwen-Image 等),涵盖图像生成、基于指令的编辑、视频生成、音频生成,甚至多模态 LLM。
- 配置文件(YAML)允许你训练 LoRA 或 LoKr 适配器,定位特定层,并自定义超参数。
- 用于 RunPod 和 Modal 等云平台的集成脚本,以及指向作者自己的 Ostris Cloud 服务的链接。
该工具包面向爱好者和研究人员,他们希望在消费级 GPU 上获得“一键式”体验,同时仍能提供高级用户可能需要的一切控制选项。
主要特性
| 特性 | 详情 |
|---|---|
| 模型目录 | 列出了 40 多个扩散模型(图像、视频、音频)和一个 LLM,每个都链接到它们的 Hugging Face 仓库。 |
| 训练 UI | 使用 Node.js 构建的 Web UI;基于令牌的认证用于远程访问。 |
| CLI / 管理器 | `python -m manager install |
| LoRA / LoKr 支持 | 配置驱动的适配器;通过 only_if_contains / ignore_if_contains 进行层定位。 |
| 跨平台 | 适用于 Linux、macOS(Apple Silicon,实验性)和 Windows 的脚本。 |
| 云端就绪 | 现成的 RunPod pod 模板;Modal 部署指南;可选的 Ostris Cloud GPU 租赁。 |
| 数据集处理 | 简单的文件夹,包含 *.jpg/png 和对应的 *.txt 标题;自动分桶和调整大小。 |
| 安全性 | UI 令牌(AI_TOOLKIT_AUTH)用于保护暴露的服务器。 |
谁会用?
- 艺术家和创作者:想在自己的硬件上微调扩散模型,而不想编写样板代码的人。
- 研究人员:需要快速在最新的 FLUX 或 SDXL 检查点上实验 LoRA/LoKr 的人。
- 开发者:寻找捆绑了 PyTorch、Node、FFmpeg 和 UI 的自包含环境的人。
- 学生:想要动手实践扩散训练,并在浏览器中看到结果的人。
快速开始(简要)
- 克隆仓库。
- 运行平台特定的
run_*.sh/.bat脚本——管理器将创建虚拟环境,安装正确的 CUDA 启用 PyTorch,并启动 UI。 - 从
config/examples/中选择一个配置(例如train_lora_flux_24gb.yaml),编辑路径/标题,然后运行:python run.py config/your_config.yml - 在 Web UI 或终端中监控进度。
限制 / 注意事项
- AI Toolkit Manager 被标记为实验性;你总是可以回退到手动安装步骤。
- 只支持 JPEG/PNG 图像;WebP 目前存在缺陷。
- UI 是可选的——训练可以完全脚本化。
- 某些模型(例如 FLUX.1-dev)需要 Hugging Face 访问令牌。
许可证与社区
该项目是免费开源的(README 中未指定许可证)。作者鼓励用户加入 Discord 以获取支持,并列出赞助选项,供那些希望资助持续开发的人使用。
简而言之: Ostris AI Toolkit 是一个功能丰富的扩散模型训练套件,既提供便捷的 Web UI,又提供完整的 CLI 控制,并具有广泛的模型支持和云部署指南。
以上所有信息均直接来自仓库的 README;没有添加外部假设。
相关
- 项目
- 项目
- 项目
- 项目
- 项目