OpenMOSS/MOVA

A foundation model that generates synchronized video and audio in a single model

什麼是 MOVA？

MOVA（MOSS 視頻音訊）是一個開源基礎模型，能在單一前向傳播中生成同步的視頻與音訊。它可接收文字提示（可選地附帶參考影像），並輸出一段短影片，其中說出的詞語與口型動作同步，背景音效也符合場景。

核心理念

特性	為何重要
原生雙模態生成	無需獨立的文本→視頻 + 文本→音訊流水線——模型同時生成兩種模態，避免誤差累積。
非對稱雙塔架構	使用預訓練的視頻編碼器與音訊編碼器，透過雙向交叉注意力相互通訊，實現豐富的跨模態互動。
唇形同步與音效	在 Verse-Bench 基準測試中表現出最先進的多語言唇形同步與環境感知音訊生成能力。
完全開源	模型權重、推理程式碼、訓練流水線、LoRA 微調腳本、評估套件與公共 API 均已公開。
硬體彈性	支援 GPU、NVIDIA H100/RTX 4090、Ascend NPU，以及在有限 VRAM 環境下的卸載策略。

快速入門（快速啟動）

建立環境

conda create -n mova python=3.13 -y
conda activate mova
pip install -e .

下載檢查點（例如 360p）來自 Hugging Face：

hf download OpenMOSS-Team/MOVA-360p --local-dir /path/to/MOVA-360p

執行推理 – 單人範例：

export CP_SIZE=1
export CKPT_PATH=/path/to/MOVA-360p
torchrun --nproc_per_node=$CP_SIZE \
    scripts/inference_single.py \
    --ckpt_path $CKPT_PATH \
    --cp_size $CP_SIZE \
    --height 352 --width 640 \
    --prompt "A man in a blue blazer …" \
    --ref_path ./assets/single_person.jpg \
    --output_path ./data/samples/single_person.mp4 \
    --seed 42 \
    --offload cpu

多人場景請替換提示與 --ref_path。

如何微調（LoRA）

選擇 configs/training/ 下的設定檔（低資源、accelerate，或 8-GPU 的 accelerate + FSDP）。
安裝訓練附加套件：pip install -e ".[train]"（新增 torchcodec、bitsandbytes）。

使用提供的 Shell 腳本啟動，例如：

bash scripts/training_scripts/example/low_resource_train.sh

所有 LoRA 超參數（秩、目標模組、最佳化器、卸載策略）均在設定檔中。

評估

倉儲包含 evaluation/ 資料夾，提供 11 個指標，涵蓋音訊品質、唇形同步、AV 對齊等。
提供 Verse-Bench 與人工評分的 Arena 基準測試的預計算結果（732 個樣本），以確保可重現性。

生態系統整合

整合	提供的功能
SGLang	透過 `sglang generate` 或 `sglang serve` 實現開箱即用的高吞吐量推理。
ComfyUI	社群節點 `comfyui-mova` 支援視覺化程式設計流程（支援 I2VA 與 T2VA）。
API	在 `studio.mosi.cn` 提供托管服務；申請密鑰即可無需本地硬體生成影片。
Streamlit 工作流程	端到端 UI，可自動產生首幀、重寫提示並呼叫 MOVA。

資源

模型權重 – Hugging Face 集合：MOVA-360p、MOVA-720p。
技術報告 – arXiv: 2602.08794（2026年2月）。
示範影片 – 請參閱 README 或網站 https://mosi.cn/models/mova。
社群 – README 中的徽章欄連結至 Discord、X（Twitter）、飛書群組。
引用 – 學術用途的引用資訊已提供在 README 中。

TL;DR

MOVA 是一個公開發布的雙塔式視頻音訊擴散模型，可從文字（以及可選影像）生成短時唇形同步影片。該倉儲包含在單一 GPU 上執行推理、使用 LoRA 微調、評估結果，以及與 SGLang、ComfyUI 或托管 API 等流行工具整合所需的一切。