OpenMOSS/MOSS-VL

MOSS‑VL이란 무엇인가요?

MOSS‑VL은 오픈웨이트, 110억 파라미터의 비디오-언어 모델 시리즈로, 긴 비디오를 이해하고 대화할 수 있습니다. 세 가지 버전으로 구성되어 있습니다:

모델	주요 사용 사례
MOSS‑VL‑Realtime	실시간 라이브 비디오 스트림 상호작용 — 모델은 영상을 시청하고, 언제든지 답변하거나 침묵할 수 있습니다.
MOSS‑VL‑Instruct	오프라인, 고품질 비디오 질의응답 및 대화.
MOSS‑VL‑Base	추가 사전학습 또는 파인튜닝을 위한 기반 체크포인트.

세 가지 모두 크로스 어텐션 아키텍처를 공유하며, 시각 인코딩과 언어 추론을 분리하고, 절대 타임스탬프와 3차원 회전 위치 임베딩(XRoPE)을 사용하여 공간적·시간적으로 답변을 기반화합니다.

주요 기능

중단 가능한 스트리밍 — 임의의 타임스탬프에서 질문을 할 수 있으며, 모델은 지금까지 본 프레임 기반으로 즉시 응답합니다.
사전 침묵 — 의미 있는 말이 없을 땐 무의미한 텍스트를 출력하지 않고 침묵합니다.
동적 수정 — 새로운 프레임이 도착하면 이전 발언을 수정할 수 있습니다.
긴 컨텍스트 — 256K 토큰의 비디오-언어 컨텍스트를 처리 가능하여 1시간 이상의 클립도 충분히 다룹니다.
오픈소스 최고 성능 지연 — 개발자들은 공개된 중에서 가장 빠른 스트리밍 비디오-LLM이라고 주장합니다.
양자화 체크포인트 — FP8 및 NF4 버전(~24GB)은 단일 24GB GPU에서 실행 가능합니다.
플러그 앤 플레이 백엔드 — FlashAttention‑3, SGLang, 그리고 다중 스트림 서빙을 위한 특화된 SGLang‑Omni 서버와 호환됩니다.
파인튜닝 지원 — 포함된 스크립트를 통해 전체 파라미터 또는 LoRA 학습이 가능하며, LLaMA‑Factory 및 ms‑swift와 즉시 통합됩니다.

시작하기 (실시간)

conda create -n moss_vl python=3.12 pip -y
conda activate moss_vl
pip install -r requirements.txt   # 리포지토리의 요구사항에 따라 no‑build‑isolation 필요

실시간 파이프라인을 통해 비디오를 처리 (1fps 샘플링, 최대 256프레임):

CUDA_VISIBLE_DEVICES=0 python inference/realtime/run_online_inference.py \
  --checkpoint OpenMOSS-Team/MOSS-VL-Realtime \
  --source video \
  --video path/to/example.mp4 \
  --sample-fps 1 \
  --playback-speed 1 \
  --max-frames 256

이 스크립트는 세 가지 통합 수준을 제공합니다:

저수준 API — model.create_realtime_session(...)로 프레임 단위의 사용자 정의 제어 가능.
큐 API — model.online_generate(...)로 워커 기반 파이프라인 구성 가능.
WebSocket 서비스 — --serve로 FastAPI 서버를 시작하여 JPEG/PNG 프레임 또는 라이브 비디오 스트림을 수신 가능.

생산급 서빙을 위해서는 third_party/sglang-omni/에 SGLang 기반 백엔드가 포함되어 있으며, 여러 동시 스트림을 스케줄링하고 GPU 간 확장이 가능합니다.

오프라인 / 배치 사용

from transformers import AutoModelForCausalLM, AutoProcessor
import torch

ckpt = "OpenMOSS-Team/MOSS-VL-Realtime"
processor = AutoProcessor.from_pretrained(ckpt, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    ckpt, trust_remote_code=True, device_map="auto", torch_dtype=torch.bfloat16)

queries = [{
    "messages": [{"role": "user", "content": [
        {"type": "image", "image": "path/to/example.jpg"},
        {"type": "text", "text": "이 이미지를 설명해 주세요."}
    ]}],
    "generate_kwargs": {"max_new_tokens": 256, "do_sample": False},
}]

with torch.no_grad():
    out = model.offline_batch_generate(processor, queries)
print([r["text"] for r in out["results"]])

같은 체크포인트는 이미지 전용, 비디오 전용, 또는 혼합 다중 모달 질의에도 사용 가능합니다.

생태계 및 리소스

FlashAttention‑3 백엔드 (third_party/flash-attention-src/) — 빠른 크로스 어텐션 처리.
SGLang / SGLang‑Omni 서버 — 낮은 지연 시간 서빙.
양자화 가이드 (quantization/README.md) — FP8‑Dynamic 및 NF4 레시피, KV 캐시 양자화 포함.
파인튜닝 — finetune/ 아래의 스크립트와 LLaMA‑Factory 및 ms‑swift와의 호환성.
벤치마크 — PA@OmniMMI, TOMATO, StreamingBench에서 스트리밍 SOTA; 오프라인 결과는 리포지토리의 그림에 표시됨.
데모 — ASR/TTS를 포함한 풀스택 브라우저 UI가 third_party/realtime-demo/에 존재.
논문 및 기술 보고서 — arXiv:2608.15045 (MOSS‑VL 기술 보고서) 및 동반 동영상 프리뷰 논문.

개발자는 누구인가요?

OpenMOSS 팀이 개발. NVIDIA의 Megatron‑LM, Qwen 언어 모델, SGLang 서빙 프레임워크를 기반으로 구축. 프로젝트는 활발히 유지보수 중이며 (최근 소식은 2026년 9월), 오픈소스 라이선스 하에 배포됩니다.

요약

무엇 — 실시간 및 오프라인 동영상 이해를 위한 11B 동영상-언어 모델 시리즈.
왜 중요한가 — 라이브 스트림을 "관찰"하고 즉시 "응답"할 수 있는 최초의 오픈소스 모델. 내장된 침묵 및 수정 기능을 갖춤.
어떻게 시도할까 — 종속성 설치 후 실시간 스크립트 실행 또는 제공된 FastAPI/WebSocket 서비스 사용. 양자화 체크포인트로 단일 24GB GPU에서 실행 가능.
다음 단계 — 다중 사용자 서빙을 위해 SGLang‑Omni 백엔드 확인 또는 LoRA 스크립트를 사용해 자체 비디오 데이터로 파인튜닝하기.