cvlab-kaist/VideoMaMa

해결하는 문제

비디오 매팅은 각 비디오 프레임에서 정확한 전경(예: 사람이나 객체)을 추출하는 작업으로, 머리카락이나 털과 같은 세부 사항을 포함한 정확한 가장자리가 필요합니다. 전통적인 방법은 보지 못한 비디오 도메인에서 어려움을 겪어 불안정하거나 거친 결과를 생성합니다. VideoMaMa는 비디오 생성 사전(비디오 확산 모델의 지식)을 사용하여 매팅 프로세스를 안내함으로써 다양한 비디오 콘텐츠에서 더 안정적이고 세부적인 매팅을 달성합니다.

작동 방식

이 프레임워크는 입력 이미지와 사용자가 제공한 마스크(전경의 대략적인 윤곽)를 안내로 사용합니다. 생성 사전으로 Stable Video Diffusion(사전 학습된 비디오 생성 모델)을 사용하고, 매팅 헤드 학습에 SAM2(Segment Anything 2)를 통합합니다. 모델 출력은 정확한 가장자리로 전경과 배경을 분리하는 정밀한 알파 매트입니다. 저장소에는 설정, 추론(단일 명령 사용), 학습용 스크립트와 Hugging Face 데모가 포함되어 있습니다.

대상 사용자

비디오 편집, VFX 또는 고품질 자동 전경 추출이 필요한 모든 응용 프로그램을 작업하는 연구자와 개발자. 또한 비전 작업에 생성 모델을 활용하는 데 관심이 있는 사람들에게 유용합니다. 이 프로젝트는 코드, 체크포인트, 대화형 데모를 제공하여 실험과 통합 모두에 접근성을 높입니다.

주요 특징

• 다양한 도메인에서 강력한 매팅을 위해 Stable Video Diffusion의 비디오 생성 사전을 활용.
• 머리카락과 가장자리 같은 세부 사항을 보존하는 정밀한 매팅 품질.
• Hugging Face에서 사전 학습된 모델 체크포인트와 대화형 웹 데모 제공.
• 전체 학습 코드와 데이터 파이프라인 문서 제공.
• ComfyUI, CorridorKey, Sammie-Roto-2와 같은 타사 도구에 통합.
• CVPR 2026에서 발표되었으며 CC BY-NC 4.0(코드) 및 Stability AI 커뮤니티 라이선스(체크포인트)로 오픈소스 공개.