geekyutao/Inpaint-Anything

解决的问题

Inpaint Anything 提供了一个统一的框架，用于在图像、视频和3D场景中移除、填充或替换对象。它通过允许用户通过点击或文本提示选择对象，然后使用生成式AI模型进行修改，简化了视觉内容编辑的过程。

工作原理

该项目整合了多个强大的视觉模型以实现其目标：

• 分割：使用 Segment Anything Model (SAM) 来隔离目标对象。
• 移除：使用 LaMa 等图像修复模型来填充移除对象后留下的空缺。
• 填充/替换：使用文本引导模型（如 Stable Diffusion (SDXL, FLUX.1-Fill)）根据用户文本提示生成新内容。
• 视频/3D扩展：对于视频和3D场景，使用跟踪模型（如 OSTrack 或 SAM 3 视频预测器）在帧或视角间保持对象一致性，随后进行图像修复和新视角合成（通过 NeRF）。

适用人群

该工具专为需要在视觉媒体中进行高质量对象移除或替换的内容创作者、研究人员和开发者设计。它还包含专门的工具，供机器人研究者通过移除训练视频中的人类手部来准备自指数据。

主要亮点

• 多模态支持：适用于2D图像、视频和3D场景。
• 灵活选择：支持点点击选择和开放词汇文本提示（在 main_2026 分支中）。
• 机器人应用：包含专用的 remove_hands.py 脚本，用于人到机器人的合成流水线。
• 高分辨率：支持2K分辨率和多种宽高比。