open-mmlab/PowerPaint

解決的問題

PowerPaint 設計用於在單一模型中處理多種圖像修復任務。它克服了不同編輯類型需要不同模型的限制，使使用者能順暢完成文字引導的物件插入、物件移除與圖像外繪（outpainting）。

工作原理

該模型使用量身訂做的任務提示來區分不同的修復操作。支援多種控制機制，包括用於物件插入的文字提示，以及用於控制生成物件與特定區域貼合程度的形狀引導遮罩。同時相容 ControlNet，可使用 Canny 邊緣、深度圖、HED 和姿態資訊來引導生成過程。

適用對象

適用於需要多功能圖像編輯工具的數位藝術家、設計師與開發者，該工具可根據文字或形狀限制來新增、移除或擴展圖像。

主要亮點

• 多功能修復：在單一模型中支援文字引導的物件插入、物件移除與外繪。
• 形狀引導控制：允許使用者調整「貼合度」，以控制生成物件對遮罩形狀的遵循程度。
• 相容 ControlNet：可與 ControlNet 集成，實現精確的結構引導（如姿態或深度）。
• 上下文感知移除：無需文字提示，即可根據周圍圖像上下文移除物件並填補背景。