[CVPR 2026] Towards Real-Time Diffusion-Based Streaming Video Super-Resolution — An efficient one-step diffusion framework for streaming VSR with locality-constrained sparse attention and a tiny conditional decoder.

FlashVSR – 基于扩散模型的实时视频超分辨率

功能简介

FlashVSR 是一个研究级系统，可将低分辨率视频（通常为 4 倍）放大到更高分辨率，接近实时。它使用扩散模型，该模型已被蒸馏为单步流式流水线，因此可以逐帧处理视频，而无需等待整个片段。

重要性

速度 – 在单个 NVIDIA A100 上，768 × 1408 视频的处理速度约为 17 fps，比之前的单步扩散 VSR 方法快约 12 倍。
可扩展性 – 得益于局部约束稀疏注意力（LCSA）机制，避免了不必要的计算，适用于超高清视频。
质量 – 作者报告称，在保持低延迟的同时实现了最先进的视觉保真度，使基于扩散的 VSR 在实际应用中切实可行。

工作原理（高层概述）

三阶段蒸馏 – 将大型教师扩散模型蒸馏为轻量级流式学生模型，实现快速推理。
局部约束稀疏注意力 – 将注意力限制在空间局部区域，大幅降低标准注意力的二次复杂度，并弥合训练时与测试时分辨率之间的差距。
微型条件解码器 – 紧凑的解码器从蒸馏后的潜在表示中重建高分辨率帧，在无需大量计算的情况下保留细节。
VSR-120K 数据集 – 创建了一个包含 12 万视频 / 18 万图像的新数据集，用于大规模训练模型。

快速开始（简要步骤）

# 克隆仓库
git clone https://github.com/OpenImagingLab/FlashVSR && cd FlashVSR

# 创建 conda 环境（Python 3.11）
conda create -n flashvsr python=3.11 && conda activate flashvsr

# 安装包和依赖
pip install -e . && pip install -r requirements.txt

# 安装块稀疏注意力后端（LCSA 必需）
git clone https://github.com/mit-han-lab/Block-Sparse-Attention && cd Block-Sparse-Attention
pip install packaging ninja && python setup.py install

# 通过 Git LFS 下载模型权重（推荐 v1.1）
cd ../examples/WanVSR
git lfs install
git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1

# 运行推理（根据速度/质量需求选择脚本）
python infer_flashvsr_v1.1_full.py   # 完整模型
# 或
python infer_flashvsr_v1.1_tiny.py   # 微型解码器，速度更快

仓库包含三个推理脚本，分别适用于完整模型、微型解码器和长视频场景。

硬件说明

针对 NVIDIA A100 / A800（Ampere）优化。在 H200（Hopper）上可运行，但加速效果降低。在 RTX 40/50 或其他 GPU 上的性能未记录。
块稀疏注意力构建可能占用大量内存；编译期间请确保有足够的 RAM。

社区与生态系统

ComfyUI 封装 – 多个第三方移植将 FlashVSR 集成到流行的可视化编程 UI 中，但有些省略了 LCSA 模块，可能导致质量较低。
在线 API – fal.ai、WaveSpeed AI 和 Segmind 等服务托管 FlashVSR 模型，无需 GPU 即可即时测试。
FlashVSR+（2026 年 10 月）– 扩展版本，添加了混合注意力和奖励感知的后训练（RY-DMD）。

限制 / 注意事项

官方流水线针对 4 倍放大 调整；其他倍数可能不稳定。
用密集注意力替代 LCSA 的第三方实现可能产生明显伪影，尤其是在高分辨率下。
VSR-120K 数据集尚未发布（列在 TODO 中）。

许可证与引用

代码是开源的（README 中未指定许可证）。如果在研究中使用 FlashVSR，请引用：

@article{zhuang2025flashvsr,
  title={FlashVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution},
  author={Zhuang, Junhao and Guo, Shi and Cai, Xin and Li, Xiaohui and Liu, Yihao and Yuan, Chun and Xue, Tianfan},
  journal={arXiv preprint arXiv:2510.12747},
  year={2025}
}

FlashVSR 将基于扩散的视频放大带入实时应用领域，结合巧妙的蒸馏流水线和稀疏注意力，在现代 GPU 上提供高质量、快速的结果。

OpenImagingLab/FlashVSR