krita-ai-diffusion: 一个为 Krita 开发的生成式 AI 插件,集成了扩散模型以实现精确的图像编辑和绘画

krita-ai-diffusion: 一个为 Krita 开发的生成式 AI 插件,集成了扩散模型以实现精确的图像编辑和绘画

它解决了什么问题

该项目将生成式 AI 无缝集成到 Krita 的绘画和编辑工作流中。它通过提供对图像区域、现有内容和结构引导的精确控制,解决了文本生成图像的不确定性问题,允许艺术家将 AI 作为绘画和编辑的工具,而不仅仅是一个基于提示词的生成器。

工作原理

该插件作为扩散模型(如 Stable Diffusion 和 Flux)的前端,使用 ComfyUI 作为后端。它允许用户进行局部重绘 (inpainting)、实时绘画 (live painting) 和放大 (upscaling)。它利用 ControlNet 进行结构引导(如深度图和线稿),并利用 IP-Adapter 进行风格和构图迁移,将这些复杂的 AI 参数集成到 Krita 基于图层的编辑工作流中。

适用人群

使用 Krita 的数字艺术家和插画师,希望在不离开绘画软件的情况下,通过生成式 AI 来增强其创作过程。

亮点

  • 实时绘画 (Live Painting): 为画布提供实时的 AI 解释,以获得即时反馈。
  • 局部重绘 (Inpainting) 与生成式填充 (Generative Fill): 使用选区来添加、删除或扩展物体。
  • 结构控制: 支持 ControlNet (Scribble, Pose, Depth, 等) 和用于参考图像的 IP-Adapter。
  • 区域提示词 (Regional Prompting): 为图层定义的不同图像区域分配特定的文本描述。
  • 本地运行: 支持在 NVIDIA, AMD, Intel, 和 Apple Silicon 硬件上本地运行模型。
  • 灵活的模型支持: 兼容 Flux, Stable Diffusion 1.5, XL, 等。

Sources