open-mmlab/PowerPaint

해결하는 문제

PowerPaint은 하나의 모델 내에서 다양한 이미지 인페인팅 작업을 처리하도록 설계되었습니다. 다양한 편집 유형마다 별도의 모델이 필요했던 한계를 해결하여, 텍스트 기반 객체 삽입, 객체 제거, 이미지 확장 작업을 원활하게 수행할 수 있습니다.

작동 방식

이 모델은 작업에 맞춘 프롬프트를 사용하여 다양한 인페인팅 작업을 구분합니다. 객체 삽입에는 텍스트 프롬프트를 지원하며, 생성된 객체가 특정 영역에 얼마나 정확히 맞춰질지 조절할 수 있는 형태 기반 마스크도 지원합니다. 또한 ControlNet과 호환되어 Canny 에지, 깊이 맵, HED, 자세 정보 등을 활용해 생성 과정을 안내할 수 있습니다.

대상 사용자

텍스트나 형태 제약 조건에 따라 이미지에 객체를 추가하거나 제거하거나 확장할 수 있는 유연한 이미지 편집 도구가 필요한 디지털 아티스트, 디자이너, 개발자에게 적합합니다.

주요 특징

• 다재다능한 인페인팅: 하나의 모델에서 텍스트 기반 객체 삽입, 객체 제거, 아웃페인팅을 모두 지원합니다.
• 형태 기반 제어: 생성된 객체가 마스크 형태에 얼마나 엄격하게 맞춰질지 조절할 수 있는 '적합도' 조절 기능을 제공합니다.
• ControlNet 호환성: 자세나 깊이 정보 등 정밀한 구조적 안내를 위해 ControlNet과 통합 가능합니다.
• 문맥 인식 제거: 텍스트 프롬프트 없이도 주변 이미지의 맥락을 기반으로 객체를 제거하고 배경을 채웁니다.