geekyutao/Inpaint-Anything

何を解決するか

Inpaint Anything は、画像、動画、3Dシーン内のオブジェクトを削除、埋めたり、置き換えたりするための統合フレームワークを提供します。ユーザーがクリックまたはテキストプロンプトでオブジェクトを選択し、生成型AIモデルで編集できるようにすることで、視覚コンテンツの編集プロセスを簡素化します。

動作方法

このプロジェクトは、複数の強力なビジョンモデルを統合して目的を達成しています：

• セグメンテーション：対象オブジェクトを分離するために Segment Anything Model (SAM) を使用します。
• 削除：LaMa などのインペイントモデルを使って、削除されたオブジェクトの残った穴を埋めます。
• 埋めたり置き換えたり：Stable Diffusion (SDXL, FLUX.1-Fill) などのテキストガイド付きモデルを使用して、ユーザーのテキストプロンプトに基づいて新しいコンテンツを生成します。
• 動画/3D拡張：動画や3Dシーンでは、OSTrack や SAM 3 video predictor などのトラッキングモデルを使ってフレームやビュー間でオブジェクトの一貫性を維持し、その後インペイントと新視点合成（NeRF を通じて）を行います。

対象ユーザー

このツールは、視覚メディアにおける高品質なオブジェクト削除や置換が必要なコンテンツクリエイター、研究者、開発者向けに設計されています。また、人間の手をトレーニング映像から削除してエゴセントリックデータを準備するための専用ツールも提供しています。

特徴

• マルチモーダル対応：2D画像、動画、3Dシーンすべてに対応します。
• 柔軟な選択：ポイントクリック選択とオープンボリュームテキストプロンプトの両方をサポート（main_2026 ブランチ）。
• ロボティクス応用：人間からロボットへの合成パイプライン用に専用の remove_hands.py スクリプトを含みます。
• 高解像度：2K解像度とさまざまなアスペクト比をサポートします。