OpenMOSS/MOSS-VL

MOSS-VL is the core multimodal model series within the OpenMOSS ecosystem, dedicated to visual understanding.

📽️ MOSS‑VL – 実時間動画言語モデル（オープンウェイト）

何であるか – 連続する動画ストリームをリアルタイムで理解・会話できる11 Bパラメータのマルチモーダルモデル群。本プロジェクトでは3つのバリアントをリリースしています：

モデル	目的	コンテキスト長	ダウンロード先
MOSS‑VL‑Realtime	動画再生中にインタラクティブで中断可能な会話	256 Kトークン	🤗 HF / 🤖 ModelScope
MOSS‑VL‑Instruct‑0708	オフライン、長時間動画のQ&A、チャット形式タスク	256 K	🤗 HF
MOSS‑VL‑Base‑0708	さらなる事前学習やファインチューニング用の基礎モデル	256 K	🤗 HF

クロスアテンションアーキテクチャ – 視覚エンコーダーと言語デコーダーは分離。クロスアテンション回転位置埋め込み（XRoPE）により、動画パッチとテキストトークンを統一された3次元 (time, height, width) 空間にマッピングし、細かい時間的位置づけを可能にします。
絶対時刻 – 各サンプリングフレームには正確な時間を持つ特別なトークンが付与され、モデルは再生速度、動き、変動するフレームレートについて推論できます。
中断可能なストリーミング – モデルは入力フレームとテキスト生成を並行処理します。ユーザーはいつでも質問を投げかけられ、情報が不足している場合は沈黙し、新しいフレームが到着すると以前の出力を即座に修正できます。
能動的沈黙と修正 – 内部の意思決定ロジックにより、いつ話すべきか、いつ観察を続けるべきかを判断し、視覚的文脈の変化に応じて答えをリアルタイムで更新できます。

ストリーミングベンチマーク – OmniMMI、StreamingBench、ProactiveVideoQAでオープンソースの最先端結果を達成。OmniMMIの最高PAスコアは 66.0。
オフラインマルチモーダルベンチマーク – 標準的な動画言語タスクで競争力のあるスコア（詳細は技術ブログ参照）。
レイテンシ – クロスアテンション設計とカスタムFlashAttention‑3バックエンドにより、単一の24 GB GPU上でオープンソース最速のレイテンシを実現（FP8/NF4量子化チェックポイントを提供）。

環境設定 – Python 3.12、Conda、その後 pip install -r requirements.txt（リポジトリにはFlashAttention‑3の実装がバンドルされています）。
リアルタイム推論 – realtime_inference/run_online_inference.py を実行し、動画ソースを指定。例：
```
CUDA_VISIBLE_DEVICES=0 python realtime_inference/run_online_inference.py \
  --checkpoint OpenMOSS-Team/MOSS-VL-Realtime \
  --source video --video path/to/example.mp4 \
  --sample-fps 1 --playback-speed 1 --max-frames 256
```
3段階の統合レベルを提供：低レベルセッションAPI、キュー基盤の online_generate、FastAPI WebSocketサーバー（--serve）。
オフライン推論 – HuggingFace の AutoModelForCausalLM + AutoProcessor でロードし、model.offline_batch_generate を呼び出して画像/動画/テキストの混合クエリを処理。
ファインチューニング – finetune/ ディレクトリ内のスクリプトで全パラメータ学習（視覚エンコーダーはデフォルトで固定）および peft ライブラリによるLoRAをサポート。
デプロイ – 高スループットのSGLangサービングフレームワーク（sglang/ディレクトリ）に対応し、ModelScopeの ms‑swift CLIと統合可能。

モデルハブ – Hugging FaceとModelScopeにチェックポイントをホスト。単一GPU推論用にFP8/NF4量子化バージョン（約24 GiB）を提供。
ツールキット – flash-attention‑3バックエンド、SGLangサービング、ms‑swift推論/ファインチューニング、LlamaFactoryレシピ。
コミュニティ – Discord、Feishuグループ、インタラクティブデモ用の専用HF Space。
論文と技術レポート – arXiv [2608.15045]（MOSS‑VL 技術レポート）およびクロスアテンション設計に関する先行プレプリント。

結論 – MOSS‑VLは、視聴後に回答から視聴しながら会話へと前進する本格的なオープンウェイト動画言語システムであり、研究レベルの実装、即時利用可能なチェックポイント、そして推論・ファインチューニングツールの成長中のエコシステムを備えています。