OpenMOSS/MOSS-VL

什么是 MOSS‑VL？

MOSS‑VL 是一个 开源权重、110亿参数的视频-语言模型 系列，能够理解并讨论长视频。它包含三个版本：

模型	主要用途
MOSS‑VL‑Realtime	实时交互直播视频流 — 模型可观看、推理，并在任何时刻回答或保持沉默。
MOSS‑VL‑Instruct	离线、高质量的视频问答与对话。
MOSS‑VL‑Base	用于进一步预训练或微调的基础检查点。

三者均采用 交叉注意力架构，将视觉编码与语言推理分离，使用 绝对时间戳 和 3D 旋转位置嵌入（XRoPE），使模型能够基于时空信息进行回答。

核心特性

可中断流式传输 — 你可以在任意时间戳提问；模型会立即基于已看到的帧进行回复。
主动静默 — 当无值得说的内容时，模型会保持沉默，而非输出无关文本。
动态修正 — 随着新帧到达，模型可修正先前的陈述。
长上下文 — 支持 256K 个视频-语言令牌的上下文，足以处理长达一小时的视频片段。
开源 SOTA 延迟 — 作者声称这是目前公开可用的最快流式视频-LLM。
量化检查点 — FP8 和 NF4 版本（约 24GB）可在单块 24GB GPU 上运行。
即插即用后端 — 支持 FlashAttention‑3、SGLang，以及用于多流服务的专用 SGLang‑Omni 服务器。
微调支持 — 提供全参数或 LoRA 训练脚本，兼容 LLaMA‑Factory 和 ms‑swift。

快速上手（实时）

conda create -n moss_vl python=3.12 pip -y
conda activate moss_vl
pip install -r requirements.txt   # 仓库要求 no‑build‑isolation

通过实时管道处理视频（1fps 采样，最多 256 帧）：

CUDA_VISIBLE_DEVICES=0 python inference/realtime/run_online_inference.py \
  --checkpoint OpenMOSS-Team/MOSS-VL-Realtime \
  --source video \
  --video path/to/example.mp4 \
  --sample-fps 1 \
  --playback-speed 1 \
  --max-frames 256

该脚本提供三种集成级别：

低级 API — model.create_realtime_session(...) 用于自定义逐帧控制。
队列 API — model.online_generate(...) 用于基于工作线程的管道。
WebSocket 服务 — --serve 启动 FastAPI 服务器，接收 JPEG/PNG 帧或实时视频流。

对于生产级服务，仓库包含 third_party/sglang-omni/，一个基于 SGLang 的后端，可调度多个并发流并在 GPU 间扩展。

离线 / 批处理使用

from transformers import AutoModelForCausalLM, AutoProcessor
import torch

ckpt = "OpenMOSS-Team/MOSS-VL-Realtime"
processor = AutoProcessor.from_pretrained(ckpt, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    ckpt, trust_remote_code=True, device_map="auto", torch_dtype=torch.bfloat16)

queries = [{
    "messages": [{"role": "user", "content": [
        {"type": "image", "image": "path/to/example.jpg"},
        {"type": "text", "text": "描述这张图片。"}
    ]}],
    "generate_kwargs": {"max_new_tokens": 256, "do_sample": False},
}]

with torch.no_grad():
    out = model.offline_batch_generate(processor, queries)
print([r["text"] for r in out["results"]])

同一检查点适用于纯图像、纯视频或混合多模态查询。

生态与资源

FlashAttention‑3 后端（third_party/flash-attention-src/）—— 高速交叉注意力。
SGLang / SGLang‑Omni 服务器—— 低延迟服务。
量化指南（quantization/README.md）—— FP8‑Dynamic 和 NF4 配方，含 KV 缓存量化。
微调—— finetune/ 下的脚本，兼容 LLaMA‑Factory 和 ms‑swift。
基准测试—— 在 PA@OmniMMI、TOMATO、StreamingBench 上实现流式 SOTA；离线结果见仓库图表。
演示—— 包含 ASR/TTS 的全栈浏览器 UI 位于 third_party/realtime-demo/。
论文与技术报告—— arXiv:2608.15045（MOSS‑VL 技术报告）及配套视频预览论文。

背后团队

由 OpenMOSS 团队开发，基于 NVIDIA 的 Megatron‑LM、Qwen 语言模型和 SGLang 服务框架。项目持续维护（最新消息为 2026 年 9 月），采用开源许可证发布。

快速要点

是什么 — 用于实时与离线视频理解的 11B 视频-语言模型系列。
为何重要 — 首个可“观看”直播流并“即时回应”的开源模型，具备内置静默与修正能力。
如何尝试 — 安装依赖，运行实时脚本或使用提供的 FastAPI/WebSocket 服务；量化检查点可在单块 24GB GPU 上运行。
下一步 — 查看 SGLang‑Omni 后端以支持多用户服务，或使用 LoRA 脚本对自有视频数据进行微调。