cvlab-kaist/VideoMaMa

解决的问题

视频抠像是从每个视频帧中提取精确前景（例如人物或物体）的任务，包括准确的边缘和头发或毛发等细节。传统方法在处理未见过的视频域时常常遇到困难，产生不稳定或粗糙的结果。VideoMaMa 通过使用视频生成先验——来自视频扩散模型的知识——来引导抠像过程，从而在广泛的视频内容中实现更稳定和详细的抠像。

工作原理

该框架将输入图像和用户提供的掩码（前景的粗略轮廓）作为引导。它使用 Stable Video Diffusion（一个预训练的视频生成模型）作为生成先验，并结合 SAM2（Segment Anything 2）来训练抠像头。模型输出是精细的 alpha 遮罩，将前景与背景以精确的边缘分离。仓库包含用于设置、推理（使用单个命令）和训练的脚本，以及一个 Hugging Face 演示。

适用人群

从事视频编辑、VFX 或任何需要高质量自动前景提取应用的研究人员和开发者。对于有兴趣利用生成模型进行视觉任务的人也有用。该项目提供了代码、检查点和交互式演示，使其易于实验和集成。

亮点

• 利用 Stable Video Diffusion 的视频生成先验，在多种域中实现稳健的抠像。
• 精细的抠像质量，保留头发和边缘等细节。
• 在 Hugging Face 上提供预训练模型检查点和交互式网页演示。
• 提供完整的训练代码和数据管道文档。
• 集成到第三方工具，如 ComfyUI、CorridorKey 和 Sammie-Roto-2。
• 在 CVPR 2026 上发表，并以 CC BY-NC 4.0（代码）和 Stability AI 社区许可证（检查点）开源发布。