Mark12Ding/SAM2Long

[ICCV 2025] SAM2Long: Enhancing SAM 2 for Long Video Segmentation with a Training-Free Memory Tree

解决的问题

SAM2Long 解决了长期视频分割中的误差累积问题。在标准 SAM 2 中，长时间视频中追踪对象时，当对象被遮挡或重新出现，常常会导致漂移或失败，从而使分割掩码随时间退化。

工作原理

它引入了一种无需训练的内存树，用于管理多个分割假设。与依赖单一记忆路径不同，系统会随着视频推进动态修剪次优路径，从而降低误差传播风险，并提高对遮挡的鲁棒性。

适用人群

从事视频对象分割（VOS）的计算机视觉研究人员和开发者，特别是需要在对象频繁消失和重新出现的长视频内容中实现高精度追踪的用户。

主要亮点

  • 无需训练： 在不增加参数或额外训练的情况下增强 SAM 2。
  • 鲁棒追踪： 专为处理长视频中对象遮挡和重新出现而设计。
  • 性能提升： 在 SA-V 和 LVOS 等基准测试中，相比原始 SAM 2，J & F 分数显著提升。
  • 兼容性： 与 SAM 2 和 SAM 2.1 的各种骨干网络大小（Tiny、Small、Base+、Large）检查点兼容。

相关

  • 项目
    bytedance/Sa2VA

    Sa2VA 是字节跳动发布的一个研究级代码库，将 SAM‑2 分割模型与多模态 LLM（如 InternVL、Qwen‑VL）融合，为图像和视频提供像素级的接地理解能力。它包含核心 Sa2VA 模型、VRT 推理基准、SAMTok 掩码令牌接口，以及 SaSaSa2VA 等扩展。该仓库使用 `uv` 包管理器实现可复现的环境配置，提供一键式设置脚本，并链接至论文、模型库和数据集。

  • 项目
    facebookresearch/sam3

    SAM 3（带概念的分割一切）是 Meta 的 8.48 亿参数基础模型，允许您使用自由形式文本（或视觉示例）提示图像或视频，并为所有匹配对象返回掩码、边界框和分数。它结合了 DETR 风格检测器和 SAM 2 风格跟踪器，引入了用于细粒度提示区分的存在性标记，并在超过 400 万个自动标注概念上进行训练。该仓库提供安装步骤、示例笔记本和用于评估的新 SA‑CO 基准（27 万个概念）

  • 项目
    yatengLG/ISAT_with_segment_anything

    一个交互式半自动图像分割标注工具，使用 Segment Anything Model（SAM）加速标记数据集的创建。

  • 项目
    Zarxrax/Sammie-Roto-2

    一款使用 SAM2 和 MatAnyone 等模型进行 AI 辅助视频遮罩、分割和对象移除的跨平台桌面应用程序。

  • 项目
    kadirnar/segment-anything-video

    Segment Anything Model (SAM) 的打包版本，支持通过 pip 简易安装，并扩展了视频分割与云 GPU 集成功能。