ai-toolkit: 一個用於在消費級硬體上微調 diffusion 影像、影片與音訊模型的全方位訓練套件

它解決了什麼問題

AI Toolkit 是一個全方位訓練套件，旨在讓在消費級硬體上訓練 diffusion 模型變得觸手可及。它簡化了微調影像、影片與音訊模型的過程，而不需要對底層訓練流程具備深厚的技術專業知識。

運作原理

該套件提供了一個統一的框架，可使用設定檔 (YAML) 和多種介面選擇來訓練各種 diffusion 模型。使用者可以透過命令列介面 (CLI) 或基於網頁的圖形使用者介面 (GUI) 來執行該套件，以啟動、停止並監控訓練任務。它支援 LoRA 和 LoKr 訓練方法，允許使用者針對模型的特定層進行訓練，或排除某些權重以優化過程。

對象是誰

想要在自己的硬體或雲端 GPU 提供商（如 RunPod 和 Modal）上，針對特定風格或主題微調 diffusion 模型的 AI 藝術家、開發者與研究人員。

重點特色

• 廣泛的模型支援：支援多種最新的影像（例如 FLUX.1, SDXL）、影片（例如 Wan 2.1, LTX-2）與音訊（例如 Ace Step）模型。
• 靈活的訓練：提供 LoRA 與 LoKr 訓練，並具備使用 only_if_contains 與 ignore_if_contains 針對特定網路層進行訓練的能力。
• 使用者友善的介面：包含一個用於輕鬆管理與監控任務的 Web UI，並提供可選的身份驗證功能以實現安全的遠端存取。
• 自動化資料集處理：自動處理影像縮放與長寬比，無需手動裁剪或放大。
• 跨平台支援：相容於 Linux、Windows，並對 Silicon Macs 提供實驗性支援。