cvlab-kaist/VideoMaMa

解決する問題

ビデオマット抽出は、各ビデオフレームから正確な前景（例：人物や物体）を抽出するタスクであり、髪の毛や毛皮などの細部を含む正確なエッジが必要です。従来の方法は、未見のビデオドメインで苦労することが多く、不安定または粗い結果を生成します。VideoMaMa は、ビデオ生成事前分布（ビデオ拡散モデルからの知識）を使用してマット抽出プロセスをガイドすることで、幅広いビデオコンテンツでより安定した詳細なマット抽出を実現します。

仕組み

このフレームワークは、入力画像とユーザー提供のマスク（前景の大まかな輪郭）をガイダンスとして受け取ります。生成事前分布として Stable Video Diffusion（事前学習済みビデオ生成モデル）を使用し、マット抽出ヘッドのトレーニングに SAM2（Segment Anything 2）を組み込みます。モデル出力は、前景と背景を正確なエッジで分離する高精細なアルファマットです。リポジトリには、セットアップ、推論（単一コマンド）、トレーニング用のスクリプトと、Hugging Face デモが含まれています。

対象ユーザー

ビデオ編集、VFX、または高品質な自動前景抽出を必要とするアプリケーションに取り組む研究者や開発者。また、視覚タスクに生成モデルを活用することに興味がある人にも役立ちます。このプロジェクトは、コード、チェックポイント、インタラクティブデモを提供し、実験と統合の両方にアクセスしやすくしています。

ハイライト

• Stable Video Diffusion からのビデオ生成事前分布を活用し、多様なドメインで堅牢なマット抽出を実現。
• 髪の毛やエッジなどの詳細を保持する高精細なマット抽出品質。
• Hugging Face で事前学習済みモデルチェックポイントとインタラクティブなウェブデモを提供。
• 完全なトレーニングコードとデータパイプラインドキュメントを提供。
• ComfyUI、CorridorKey、Sammie-Roto-2 などのサードパーティツールに統合。
• CVPR 2026 で発表され、CC BY-NC 4.0（コード）および Stability AI コミュニティライセンス（チェックポイント）でオープンソース公開。