scraed/LanPaint

解決する課題

LanPaintは、多種多様な事前学習済み拡散モデルおよびrectified-flowモデルにおいて、高品質な画像および動画のインペインティング（修復）とアウトペインティング（拡張）を行うための、トレーニング不要な汎用的手法を提供します。モデルの微調整やバックプロパゲーションが不要で、ほぼすべての既存モデルでマスク制約付きの局所編集、オブジェクト置換、生成塗りつぶしが可能になります。

仕組み

LanPaintは、モデルがノイズ除去の前に複数回の反復を通じて「思考」することを可能にする部分条件付きサンプラーを実装しています。この「Think Mode」により、計算時間を追加投入してインペインティングの品質を向上させることができます。ComfyUI拡張機能として動作し、画像（Qwen 2.1の透過サポートを含む）や動画/音声（MiniMax H3のネストされた潜在パイプライン経由）など、多様なモダリティをサポートしています。

対象ユーザー

ComfyUIを使用するデジタルアーティストやAI研究者向けに設計されており、使用するベースモデルごとに特定のインペインティングモデルをトレーニングすることなく、画像や動画に対して正確な局所編集を行いたい方に最適です。

ハイライト

• 汎用的な互換性: Flux, SDXL, SD 1.5, Wan 2.2, Qwen Image, MiniMax H3など、幅広いモデルに対応。
• トレーニング不要: 微調整やバックプロパゲーションは不要。事前学習済みモデルですぐに使用可能。
• マルチモーダルインペインティング: 画像のインペインティング、アウトペインティング、動画インペインティング、さらには動画と音声の複合インペインティングをサポート。
• 統合型動画マスクエディタ: フレームごとのマスクを描画するためのエディタを内蔵。自動補間やマスクの動画メタデータへのエクスポート機能を備えています。
• Think Mode: 反復的なリファインメントにより、計算時間を増やすことで優れたインペインティング品質を実現。