MultiMatte 2026 背景移除模型通过可提示的抠图技术提升 SAM 3 分割性能

MultiMatte 为 SAM 3 增加了可提示的 alpha‑matting，并在所有基准测试拆分中表现优于它

由 Feyn 发布的 MultiMatte 仅通过 LoRA 适配器修改了 SAM 3 860 M 参数中的 2.27 %，却在 DIS‑VD 基准测试中实现了 0.901 的 S‑measure，而 SAM 3 为 0.667。这一改进表明，少量的低秩更新可以将一个二值分割器转变为高质量的抠图生成器，同时保留原始的文本提示对齐能力。

可提示的抠图解决了二值掩码的模糊边界失效问题

SAM 3 对文本提示描述的对象返回二值掩码，这无法表示半透明或精细结构（如头发）。MultiMatte 将二值输出替换为 alpha matte，为每个像素分配连续的透明度值，从而实现对模糊边界的精确提取。在五个高分辨率 DIS 拆分数据集中，SAM 3 的 S‑measure 范围在 0.649 到 0.703 之间，而 MultiMatte 实现了 0.893 到 0.923。

低秩微调 (LoRA) 保留了 SAM 3 的文本对齐性

MultiMatte 使用参数高效微调 (PEFT) 技术，在包括 CLIP text tower 在内的每个 tower 的 attention 和 MLP 投影层上使用 LoRA (rank‑16 适配器) 进行训练。每个目标线性层在保持其预训练权重冻结的同时，学习两个小的矩阵来添加低秩更新。适配器已合并到发布的权重中，因此推理时无需额外库。

训练数据与目标

Images: 19,953 张多样化的图像（显著对象、伪装、头发、海洋场景）。
Steps: 14,000 步训练。
Losses: Focal loss + Dice loss，与 SAM 3 使用的相同的语义分割目标。
Prompt supervision: 4,949 张图像（占数据集的 24.8 %）包含人类编写的标签来命名目标对象，从而教会新的 matte head 使用 SAM 3 现有的文本对齐能力。

基准测试结果显示持续的提升

Split	SAM 3	MultiMatte	Δ S‑measure
DIS‑VD	0.667	0.901	+0.233
DIS‑TE1	0.667	0.901	+0.234
DIS‑TE2	0.703	0.923	+0.220
DIS‑TE3	0.685	0.921	+0.235
DIS‑TE4	0.649	0.893	+0.244
DAVIS‑S (no training sibling)	0.913	0.979	+0.066
DUT‑OMRON (no training sibling)	0.792	0.901	+0.109

所有拆分数据集中均有提升；最大的绝对增益出现在没有在训练集中包含同类数据的集合中，这表明了强大的泛化能力。低于 0.002 S‑measure 的变化被视为测量噪声。

提示词引导在微调后依然具有价值

即使在 LoRA 适配之后，提供一个概念名称也会提升性能。在 DIS‑VD 上，提供一个真实的概念名称可以在不进行任何梯度步的情况下为 SAM 3 增加 0.150 S‑measure，而 MultiMatte 仍能贡献 0.036，这证实了提示词路径在重训练过程中得以保留。

使用 NoBg 库进行简便的推理

MultiMatte 通过 nobg Python 包进行分发。LoRA 适配器已合并，因此模型可以直接使用：

from nobg import AutoModel, AutoProcessor

model = AutoModel.from_pretrained("feyninc/multimatte")
processor = AutoProcessor.from_pretrained("feyninc/multimatte")

# Default prompt (no concept name)
cutout = model.predict(processor, "photo.jpg")
cutout.save("output.png")

# Prompted removal (keep "the dog")
cutout = model.predict(processor, "photo.jpg", "the dog")

predict 返回一个 RGBA cutout；设置 return_type="tensor" 则可以获得原始 matte。

社区反馈强调了现实世界的鲁棒性

"I tried it with an image that most background remover tools fail on – a horse and fence with similar colours – and MultiMatte did it perfectly!" – zurtri

"Is the demo client‑side? It matches my current workflow with Preview.app → Tools → Remove Background." – peterldowns

"Perfect timing as remove.bg is being folded into Canva; this looks great!" – FlamingMoe

这些评论证实了 MultiMatte handles 挑战性的颜色相似的前景/背景情况，并且用户们很欣赏其集成的便捷性。

References

Meta. SAM 3: Segment Anything with Concepts. arXiv:2511.16719, 2025.
Hu et al. LoRA: Low‑Rank Adaptation of Large Language Models. arXiv:2106.09685, 2021.
Thinking Machines Lab. Thinking Machines Lab. LoRA Without Regret. 2025. https://thinkingmachines.ai/blog/lora/
Lin et al. Focal Loss for Dense Object Detection. arXiv:1708.02002, 2017.
Sargsyan & Navasardyan. FlowDIS: Language‑Guided Dichotomous Image Segmentation with Flow Matching. CVPR 2026. arXiv:2605.05077.