open-mmlab/PowerPaint

何を解決するか

PowerPaint は、1つのモデル内で複数の画像インペイントタスクを処理できるように設計されています。異なる編集タイプごとに異なるモデルが必要なという制限を克服し、テキストガイド付きオブジェクト挿入、オブジェクト削除、画像の拡張をスムーズに行うことができます。

動作方法

このモデルは、タスクに特化したプロンプトを使用して、異なるインペイント操作を区別します。オブジェクト挿入にはテキストプロンプト、特定の領域に生成されたオブジェクトがどれだけ正確にフィットするかを制御する形状ガイド付きマスクをサポートしています。また、ControlNetとの互換性もあり、Cannyエッジ、深度マップ、HED、ポーズ情報などを使用して生成プロセスをガイドできます。

対象ユーザー

デジタルアーティスト、デザイナー、開発者で、テキストや形状の制約に基づいて画像にオブジェクトを追加・削除・拡張できる汎用的な画像編集ツールが必要な方々。

特徴

• 汎用的なインペイント: 1つのモデルでテキストガイド付きオブジェクト挿入、オブジェクト削除、アウトペイントをサポート。
• 形状ガイド付き制御: 生成されたオブジェクトがマスクの形状にどれだけ厳密に従うかを調整できる「フィッティング度」をユーザーが設定可能。
• ControlNet互換性: ポーズや深度など、正確な構造的ガイドを提供するControlNetと統合可能。
• 文脈認識による削除: テキストプロンプトを必要とせずに、周囲の画像の文脈に基づいてオブジェクトを削除し、背景を埋める。