[CVPR 2026] Towards Real-Time Diffusion-Based Streaming Video Super-Resolution — An efficient one-step diffusion framework for streaming VSR with locality-constrained sparse attention and a tiny conditional decoder.

FlashVSR – リアルタイム拡散ベース動画超解像

特徴

FlashVSRは、低解像度の動画（通常4倍）をはるかに高い解像度にほぼリアルタイムでアップスケールする研究用システムです。これは、単一ステップのストリーミングパイプラインに蒸留された拡散モデルを使用しており、各フレームをクリップ全体を待たずに処理できます。

重要性

速度 – 単一のNVIDIA A100で768×1408動画を約17fpsで処理。従来の1ステップ拡散VSR手法と比較して約12倍の高速化。
スケーラビリティ – 局所性制約スパースアテンション（LCSA）メカニズムにより不要な計算を回避し、超高解像度動画に対応。
品質 – 著者らは、低遅延を維持しながら最先端の視覚的忠実度を報告しており、拡散ベースVSRを実用化しています。

仕組み（概要）

3段階蒸留 – 大規模な教師拡散モデルを軽量なストリーミング学生モデルに蒸留し、高速推論を可能にします。
局所性制約スパースアテンション – アテンションを空間的に局所的なパッチに制限し、標準アテンションの2次コストを大幅に削減し、トレーニング時とテスト時の解像度のギャップを埋めます。
小型条件付きデコーダ – コンパクトなデコーダが蒸留された潜在表現から高解像度フレームを再構築し、重い計算なしで詳細を保持します。
VSR-120Kデータセット – モデルを大規模にトレーニングするために作成された新しい120k動画/180k画像データセット。

はじめに（クイックステップ）

# リポジトリをクローン
git clone https://github.com/OpenImagingLab/FlashVSR && cd FlashVSR

# conda環境を作成（Python 3.11）
conda create -n flashvsr python=3.11 && conda activate flashvsr

# パッケージと依存関係をインストール
pip install -e . && pip install -r requirements.txt

# ブロックスパースアテンションバックエンドをインストール（LCSAに必要）
git clone https://github.com/mit-han-lab/Block-Sparse-Attention && cd Block-Sparse-Attention
pip install packaging ninja && python setup.py install

# モデル重みをダウンロード（v1.1推奨）Git LFS経由
cd ../examples/WanVSR
git lfs install
git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1

# 推論を実行（速度/品質のニーズに応じてスクリプトを選択）
python infer_flashvsr_v1.1_full.py   # フルモデル
# または
python infer_flashvsr_v1.1_tiny.py   # タイニーデコーダ、より高速

リポジトリには、フルサイズ、タイニーデコーダ、長尺動画用の3つの推論スクリプトが含まれています。

ハードウェアに関する注意

NVIDIA A100 / A800（Ampere）向けに最適化。H200（Hopper）では高速化が低下しますが動作します。RTX 40/50やその他のGPUでのパフォーマンスは文書化されていません。
ブロックスパースアテンションのビルドはメモリを多く消費する可能性があります。コンパイル中は十分なRAMを確保してください。

コミュニティとエコシステム

ComfyUIラッパー – いくつかのサードパーティポートがFlashVSRを人気のビジュアルプログラミングUIに統合していますが、一部はLCSAモジュールを省略しており、品質が低下する可能性があります。
オンラインAPI – fal.ai、WaveSpeed AI、SegmindなどのサービスがFlashVSRモデルをホストしており、GPUなしで即時テストできます。
FlashVSR+（2026年10月） – ハイブリッドアテンションと報酬認識ポストトレーニング（RY-DMD）を追加する拡張機能。

制限事項 / 注意点

公式パイプラインは4倍アップスケーリングに調整されています。他のスケールでは不安定になる可能性があります。
LCSAを高密度アテンションに置き換えるサードパーティ実装では、特に高解像度で顕著なアーティファクトが発生する可能性があります。
VSR-120Kデータセットはまだリリースされていません（TODOに記載）。

ライセンスと引用

コードはオープンソースです（READMEにライセンスは記載されていません）。研究でFlashVSRを使用する場合は、以下を引用してください：

@article{zhuang2025flashvsr,
  title={FlashVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution},
  author={Zhuang, Junhao and Guo, Shi and Cai, Xin and Li, Xiaohui and Liu, Yihao and Yuan, Chun and Xue, Tianfan},
  journal={arXiv preprint arXiv:2510.12747},
  year={2025}
}

FlashVSRは、拡散ベースの動画アップスケーリングをリアルタイムアプリケーションの領域に持ち込み、巧妙な蒸留パイプラインとスパースアテンションを組み合わせて、最新のGPUで高品質で高速な結果を提供します。

OpenImagingLab/FlashVSR