open-mmlab/PowerPaint

解决的问题

PowerPaint 设计用于在单个模型中处理多种图像修复任务。它克服了不同编辑类型需要不同模型的局限性，使用户能够无缝完成文本引导的对象插入、对象移除和图像外绘（outpainting）。

工作原理

该模型使用定制的任务提示来区分不同的修复操作。它支持多种控制机制，包括用于对象插入的文本提示，以及用于控制生成对象与特定区域匹配程度的形状引导掩码。同时兼容 ControlNet，可使用 Canny 边缘、深度图、HED 和姿态信息来引导生成过程。

适用人群

适用于需要一个多功能图像编辑工具的数字艺术家、设计师和开发者，该工具可根据文本或形状约束添加、移除或扩展图像。

主要亮点

• 多功能修复：在单一模型中支持文本引导的对象插入、对象移除和外绘。
• 形状引导控制：允许用户调整“贴合度”，以控制生成对象对掩码形状的遵循程度。
• 兼容 ControlNet：可与 ControlNet 集成，实现精确的结构引导（如姿态或深度）。
• 上下文感知移除：无需文本提示，即可根据周围图像上下文移除对象并填充背景。