krita-ai-diffusion: 一款為 Krita 開發的生成式 AI 外掛程式,整合了擴散模型以實現精確的圖像編輯與繪畫

krita-ai-diffusion: 一款為 Krita 開發的生成式 AI 外掛程式,整合了擴散模型以實現精確的圖像編輯與繪畫

它解決了什麼問題

此專案將生成式 AI 無縫整合到 Krita 的繪畫與編輯工作流程中。它透過提供對圖像區域、現有內容以及結構引導的精確控制,解決了文字轉圖像生成中不可預測性的問題,讓藝術家能將 AI 作為繪畫與編輯的工具,而不僅僅是基於提示詞的生成器。

運作原理

此外掛程式作為擴散模型(例如 Stable Diffusion 和 Flux)的前端,並使用 ComfyUI 作為後端。它允許使用者進行局部重繪 (inpainting)、即時繪畫 (live painting) 以及放大 (upscaling)。它利用 ControlNet 進行結構引導(例如深度圖和線稿),並利用 IP-Adapter 進行風格與構圖轉移,將這些複雜的 AI 參數整合到 Krita 的圖層化工作流程中。

對象是誰

使用 Krita 的數位藝術家與插畫師,希望在不離開繪畫軟體的情況下,透過生成式 AI 來增強其創作過程。

重點功能

  • 即時繪畫 (Live Painting):提供畫布的即時 AI 解讀,以獲得即時回饋。
  • 局部重繪與生成式填充 (Inpainting and Generative Fill):使用選取範圍來新增、移除或擴展物件。
  • 結構控制 (Structural Control):支援 ControlNet (Scribble, Pose, Depth, 等) 以及用於參考圖像的 IP-Adapter。
  • 區域提示詞 (Regional Prompting):將特定的文字描述分配給由圖層定義的不同圖像區域。
  • 本地執行 (Local Execution):支援在 NVIDIA, AMD, Intel, 和 Apple Silicon 硬體上本地執行模型。
  • 彈性的模型支援 (Flexible Model Support):相容於 Flux, Stable Diffusion 1.5, XL, 等其他模型。

Sources