geekyutao/Inpaint-Anything

解決的問題

Inpaint Anything 提供了一個統一的框架，用於在影像、影片和3D場景中移除、填補或替換物件。它透過允許使用者以點擊或文字提示選擇物件，並使用生成式AI模型進行修改，簡化了視覺內容編輯的流程。

工作原理

本專案整合了多個強大的視覺模型以達成目標：

• 分割：使用 Segment Anything Model (SAM) 來隔離目標物件。
• 移除：使用 LaMa 等影像修復模型來填補移除物件後留下的空缺。
• 填補/替換：使用文字引導模型（如 Stable Diffusion (SDXL, FLUX.1-Fill)）根據使用者的文字提示生成新內容。
• 影片/3D擴展：針對影片和3D場景，使用追蹤模型（如 OSTrack 或 SAM 3 影片預測器）在畫格或視角間維持物件的一致性，隨後進行影像修復與新視角合成（透過 NeRF）。

適用對象

此工具專為需要在視覺媒體中進行高品質物件移除或替換的內容創作者、研究人員與開發者設計。它也包含專用工具，供機器人研究者透過移除訓練影片中的人類手部，來準備自指資料。

主要亮點

• 多模態支援：適用於2D影像、影片與3D場景。
• 靈活選擇：支援點擊選擇與開放詞彙文字提示（於 main_2026 分支中）。
• 機器人應用：包含專用的 remove_hands.py 指令碼，用於人到機器人的合成流程。
• 高解析度：支援2K解析度與多種長寬比。