KohakuBlueleaf/LyCORIS
Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion.
解決的問題
LyCORIS 提供一組參數高效微調（PEFT）演算法，用於客製化 Stable Diffusion 模型。它允許使用者訓練小型、可攜帶的適配器模型（而非完整模型檢查點），這些模型可輕鬆分享與組合，大幅降低微調所需的儲存與運算資源。
工作原理
本專案實作多種超越標準 LoRA 的低秩適應技術。提供獨立的 PyTorch 包裝器，可套用於任何模組，同時也支援與流行訓練腳本 sd-scripts 及 sd-webui、ComfyUI 等介面的整合。
實作的主要演算法包括：
- LoRA/LoCon：標準低秩適應及其在卷積層的延伸
- LoHa：低秩哈達瑪積
- LoKr：克羅內克積適應
- (IA)³：注入式適應器
- DyLoRA：動態 LoRA
近期更新引入使用 Triton 和 TileLang 的實驗性融合核心，顯著降低訓練與推論時的裝置時間與 VRAM 使用量。
適用對象
- AI 藝術家與模型訓練者：希望在不訓練完整模型的情況下，為特定角色、風格或概念客製化 Stable Diffusion 的使用者
- 機器學習研究者：探索圖像生成中不同低秩適應方法的研究人員
- 開發者：需要整合多個微調適配器的影像生成流程建構者
主要亮點
- 多樣演算法支援：實作多種 PEFT 方法，包含 LoHa、LoKr 與 (IA)³
- 高效率：實驗性融合核心（Triton/TileLang）相比 eager 模式可達 1.4x–7.3x 的加速
- 廣泛整合：原生支援
sd-webui、ComfyUI 與 InvokeAI - 彈性 API：可作為任意 PyTorch 模組的獨立包裝器使用，或透過高階訓練腳本調用
相關
- Dispatch
- 專案
- 專案
- Dispatch
- 專案