bytedance/Sa2VA

Official Repo For Pixel-LLM Codebase: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxiv-25), SaSaSa2VA (1-st solution for LSVOS)

📚 Sa2VAとは？

Sa2VA（「サ・ト・ヴァ」と発音）は、最先端のセグメンテーションモデルであるSAM‑2と、InternVL2.5/3やQwen‑VLなどの**マルチモーダル大規模言語モデル (MLLM)*を組み合わせた、ByteDanceによる研究グレードのコードベースです。その目的は、LLMに画像や動画のピクセルレベル*の認識能力を与え、以下のことを可能にすることです：

正確な領域を参照する（参照セグメンテーション）画像や動画内の特定の場所。
グラウンデッドな対話を行う。モデルが視覚的コンテンツをその場で指し示したり、マスクしたり、編集したりできます。
ビジュアルプロンプティングをサポートする。ユーザーがマスクやバウンディングボックスを提供すると、モデルがその意図を理解します。
画像/動画チャットインターフェースを、テキストのみのチャットと同じくらい自然に機能させます。

リポジトリは、コアとなるSa2VAモデルを拡張する関連プロジェクトのコレクションとして構成されています：

Project	Purpose	Notable Artefacts
Sa2VA	コアとなる統合モデル (SAM‑2 + MLLM)。	Supports InternVL2.5/3, Qwen2.5‑VL, Qwen3‑VL. Papers: IEEE TPAMI 2026, arXiv 2025.
VRT (Visual Reasoning Tracer)	Sa2VAに基づいたオブジェクトレベルのグラウンデッドな推論。
Benchmark VRT‑Bench and training set VRT‑80k (HF dataset).
SAMTok	わずか2語で、あらゆるMLLMがマスクを生成または理解できるようにする「マスク・トークン」インターフェース。
CVPR 2026 paper, model zoo on HuggingFace.
SaSaSa2VA	ICCV 2025 LSVOS Challenge (RVOS track) で1位を獲得したセグメンテーション拡張機能。

Pixel‑SAIL	ピクセルレベルのグラウンディングへのシングル・トランスフォーマー・アプローチ。

🚀 はじめに

軽量な依存関係マネージャー uv をインストールする（ワンライナー）：
```
curl -LsSf https://astral.sh/uv/install.sh | sh
```
環境を作成する（スクリプトが /tmp に仮想環境を構築し、それをリンクします）：
```
bash setup_env.sh                 # default: latest backbones
# bash setup_env.sh sa2va legacy  # for older InternVL2.5 etc.
```
裏側では、projects/sa2va 内の pyproject.toml と uv.lock がすべての推移的依存関係を固定し、再現可能なビルドを保証します。
シークレットを設定する（例：HuggingFaceトークン）ために、テンプレートをコピーします：
```
cp .env.example .env   # edit with your keys
```
デモを実行する – アクティベーション（source projects/sa2va/.venv/bin/activate）後、特定のプロジェクトフォルダ内（例：projects/sa2va/README.md）のREADMEに従って、推論またはトレーニングを開始します。

🎯 代表的なユースケース

Use case	What Sa2VA enables
Interactive visual chatbots	ユーザーは「赤色のボックス内のオブジェクトは何ですか？」と尋ねることができ、モデルは正確なマスクと説明を返します。
Video editing assistants	「フレーム 12-15 の人物をぼかして」といったテキストコマンドを提供すると、システムはフレームを横断して正確なピクセルを分離します。
Grounded visual reasoning	VRT‑Bench を使用して、オブジェクトレベルのマスクとChain-of-Thought プロンプティングを組み合わせ、「Why is the car moving faster than the bike?」と答えることができます。
Cross‑modal content creation	特定の領域制約（例：「青い円の場所に cat を描いて」）を持つ画像生成を行います。

📦 リポジトリの内容

projects/sa2va/ – コアモデルのコード、トレーニングスクリプト、および推論ユーティリティ。
projects/vrt_sa2va/ – データセットローダー、ベンチマーク評価スクリプト、および VRT‑80k データ準備パイプライン。
projects/samtok/ – トークン・マスク変換ロジックと学習済みチェックポイント。
setup_env.sh – ワンクリック環境構築用スクリプト。
.env.example – APIキーのプレースホルダー。
Citation block – 3つの主要論文の、コピー可能な BibTeX。

📚 もっと詳しく学ぶには

Paper (TPAMI 2026) – https://ieeexplore.ieee.org/document/11640960
arXiv pre‑print | https://arxiv.org/abs/2501.04001
Project page – https://lxtgh.github.io/project/sa2va
Model zoo – https://huggingface.co/collections/ByteDance/sa2va-model-zoo-677e3084d71b5f108d00e093
VRT benchmark page – https://harboryuan.github.io/visual-reasoning-tracer/
SAMTok page – https://zhouyiks.github.io/projects/SAMTok/

📝 引用方法

@article{sa2va, 
  title={Sa2VA: Marrying SAM2 with MLLM for Dense Grounded Understanding of Images and Videos}, 
  author={Yuan, Haobo and Li, Xiangtai and Zhang, Tao and Sun, Yueyi and Huang, Zilong and Xu, Shilin and Ji, Shunping and Tong, Yunhai and Qi, Lu and Feng, Jiashi and Yang, Ming‑Hsuan}, 
  journal={IEEE TPAMI}, 
  year={2026} 
}

結論： Sa2VAは、大規模言語モデルに真のピクセルレベルの視覚能力を与え、視覚と言語が密接に統合されたエージェント、グラウンデッドな推論、および次世代のマルチモーダル・アシスタントへの道を開く、最先端の研究プラットフォームです。