OpenMOSS/MOSS-VL

MOSS‑VL とは何か？

MOSS‑VL は オープンウェイト、110億パラメータの動画言語モデル シリーズで、長時間の動画を理解し、会話できるように設計されています。3つのバージョンがあります：

モデル	主な用途
MOSS‑VL‑Realtime	ライブ動画ストリームでのリアルタイム対話 — モデルは動画を観察し、いつでも回答したり、沈黙を保ったりできます。
MOSS‑VL‑Instruct	オフラインでの高品質な動画質問応答と会話。
MOSS‑VL‑Base	さらなる事前学習やファインチューニング用の基盤チェックポイント。

すべてのバージョンは、視覚エンコーディングと言語推論を分離する クロスアテンションアーキテクチャ を採用しており、絶対時刻 と 3次元回転位置埋め込み（XRoPE） を使用することで、空間的・時間的に答えを根拠づけることができます。

主な特徴

中断可能なストリーミング — 任意の時刻に質問を投げかけ、モデルはこれまでに見たフレームに基づいて即座に返答します。
能動的沈黙 — 値する発言がなければ、無関係なテキストを吐き出さず、沈黙を保ちます。
動的修正 — 新しいフレームが到着すると、モデルは以前の発言を修正できます。
長文脈 — 256Kトークンの動画言語文脈を扱え、1時間程度の動画にも対応可能です。
オープンソース最速の遅延 — 開発者らは、公開されている中で最も高速なストリーミング動画LLMであると主張しています。
量子化チェックポイント — FP8およびNF4バージョン（約24GB）は、1台の24GB GPUで動作可能。
プラグアンドプレイバックエンド — FlashAttention‑3、SGLang、およびマルチストリーム対応の専用SGLang‑Omniサーバーと連携可能。
ファインチューニング対応 — バンドルされたスクリプトでパラメータ全体またはLoRAによる学習が可能。LLaMA‑Factoryおよびms‑swiftとも即時統合可能。

はじめ方（リアルタイム）

conda create -n moss_vl python=3.12 pip -y
conda activate moss_vl
pip install -r requirements.txt   # リポジトリの要件により、no‑build‑isolationを指定

リアルタイムパイプラインで動画を処理（1fpsサンプリング、最大256フレーム）：

CUDA_VISIBLE_DEVICES=0 python inference/realtime/run_online_inference.py \
  --checkpoint OpenMOSS-Team/MOSS-VL-Realtime \
  --source video \
  --video path/to/example.mp4 \
  --sample-fps 1 \
  --playback-speed 1 \
  --max-frames 256

このスクリプトは3つの統合レベルを提供します：

低レベルAPI — model.create_realtime_session(...) でフレーム単位のカスタム制御が可能。
キューAPI — model.online_generate(...) でワーカーベースのパイプラインが構築可能。
WebSocketサービス — --serve を指定すると、FastAPIサーバーが起動し、JPEG/PNGフレームまたはライブストリームを受け付けます。

本番環境向けのサービングには、third_party/sglang-omni/ にSGLangベースのバックエンドが含まれており、多数の同時ストリームをスケジューリングし、GPU間でスケーリング可能。

オフライン / バッチ処理

from transformers import AutoModelForCausalLM, AutoProcessor
import torch

ckpt = "OpenMOSS-Team/MOSS-VL-Realtime"
processor = AutoProcessor.from_pretrained(ckpt, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    ckpt, trust_remote_code=True, device_map="auto", torch_dtype=torch.bfloat16)

queries = [{
    "messages": [{"role": "user", "content": [
        {"type": "image", "image": "path/to/example.jpg"},
        {"type": "text", "text": "この画像を説明してください。"}
    ]}],
    "generate_kwargs": {"max_new_tokens": 256, "do_sample": False},
}]

with torch.no_grad():
    out = model.offline_batch_generate(processor, queries)
print([r["text"] for r in out["results"]])

同じチェックポイントは、画像のみ、動画のみ、または混合マルチモーダルクエリにも対応します。

エコシステムとリソース

FlashAttention‑3 バックエンド（third_party/flash-attention-src/） — 高速なクロスアテンション処理。
SGLang / SGLang‑Omni サーバー — 低遅延のサービング。
量子化ガイド（quantization/README.md） — FP8‑DynamicおよびNF4のレシピ、KVキャッシュ量子化も含む。
ファインチューニング — finetune/ 下のスクリプトと、LLaMA‑Factoryおよびms‑swiftとの互換性。
ベンチマーク — PA@OmniMMI、TOMATO、StreamingBenchでストリーミングSOTA。オフライン結果はリポジトリの図表に掲載。
デモ — ASR/TTSを備えたフルスタックブラウザUIが third_party/realtime-demo/ に存在。
論文と技術報告 — arXiv:2608.15045（MOSS‑VL 技術報告）と、コンパニオン動画プレビュー論文。

製作者は誰か？

OpenMOSS チームが開発。NVIDIAのMegatron‑LM、Qwen言語モデル、SGLangサービングフレームワークを基盤としています。プロジェクトは積極的にメンテナンスされており（最新情報は2026年9月）、オープンソースライセンスで公開されています。

まとめ

何 — リアルタイムおよびオフライン動画理解向けの11B動画言語モデルシリーズ。
なぜ重要か — ライブストリームを「観察」し、即座に「返答」できる最初のオープンソースモデル。内蔵の沈黙機能と修正機能を備える。
試す方法 — 依存関係をインストールし、リアルタイムスクリプトを実行するか、提供されたFastAPI/WebSocketサービスを利用する。量子化チェックポイントにより、1台の24GB GPUで実行可能。
次にやること — マルチユーザー向けにSGLang‑Omniバックエンドを確認するか、LoRAスクリプトを使って独自の動画データでファインチューニングを行う。