[CVPR 2026] Towards Real-Time Diffusion-Based Streaming Video Super-Resolution — An efficient one-step diffusion framework for streaming VSR with locality-constrained sparse attention and a tiny conditional decoder.

FlashVSR – 실시간 확산 기반 비디오 초해상도

기능

FlashVSR은 저해상도 비디오(일반적으로 4배)를 훨씬 더 높은 해상도로 거의 실시간으로 업스케일링하는 연구용 시스템입니다. 이는 단일 단계 스트리밍 파이프라인으로 증류된 확산 모델을 사용하여, 전체 클립을 기다리지 않고 각 비디오 프레임이 도착할 때 처리할 수 있습니다.

중요성

속도 – 단일 NVIDIA A100에서 768 × 1408 비디오에 대해 ~17 fps, 이전 1단계 확산 VSR 방법보다 약 12배 빠릅니다.
확장성 – 불필요한 계산을 피하는 지역성 제약 희소 어텐션(LCSA) 메커니즘 덕분에 초고해상도 비디오에서 작동합니다.
품질 – 저자들은 낮은 지연 시간을 유지하면서 최첨단 시각적 충실도를 보고하여, 확산 기반 VSR을 실제 사용에 실용적으로 만듭니다.

작동 방식(높은 수준)

3단계 증류 – 큰 교사 확산 모델을 경량 스트리밍 학생 모델로 증류하여 빠른 추론을 가능하게 합니다.
지역성 제약 희소 어텐션 – 어텐션을 공간적으로 지역적인 패치로 제한하여 표준 어텐션의 이차 비용을 크게 줄이고 훈련 시간과 테스트 시간 해상도 간의 격차를 해소합니다.
소형 조건 디코더 – 증류된 잠재 표현에서 고해상도 프레임을 재구성하는 컴팩트한 디코더로, 무거운 계산 없이 디테일을 보존합니다.
VSR-120K 데이터셋 – 모델을 대규모로 훈련하기 위해 생성된 새로운 120k 비디오 / 180k 이미지 데이터셋.

시작하기(빠른 단계)

# 리포지토리 클론
git clone https://github.com/OpenImagingLab/FlashVSR && cd FlashVSR

# conda 환경 생성 (Python 3.11)
conda create -n flashvsr python=3.11 && conda activate flashvsr

# 패키지 및 종속성 설치
pip install -e . && pip install -r requirements.txt

# 블록-희소 어텐션 백엔드 설치 (LCSA에 필요)
git clone https://github.com/mit-han-lab/Block-Sparse-Attention && cd Block-Sparse-Attention
pip install packaging ninja && python setup.py install

# Git LFS로 모델 가중치 다운로드 (v1.1 권장)
cd ../examples/WanVSR
git lfs install
git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1

# 추론 실행 (속도/품질 요구에 따라 스크립트 선택)
python infer_flashvsr_v1.1_full.py   # 전체 모델
# 또는
python infer_flashvsr_v1.1_tiny.py   # 소형 디코더, 더 빠름

리포지토리에는 전체 크기, 소형 디코더 및 긴 비디오 시나리오를 위한 세 가지 추론 스크립트가 포함되어 있습니다.

하드웨어 참고 사항

NVIDIA A100 / A800(Ampere)에 최적화됨. H200(Hopper)에서도 작동하지만 가속은 감소합니다. RTX 40/50 또는 다른 GPU에서의 성능은 문서화되지 않았습니다.
블록-희소 어텐션 빌드는 메모리를 많이 사용할 수 있으므로 컴파일 중 충분한 RAM을 확보하십시오.

커뮤니티 및 생태계

ComfyUI 래퍼 – 여러 타사 포트가 FlashVSR을 인기 있는 비주얼 프로그래밍 UI에 통합하지만, 일부는 LCSA 모듈을 생략하고 품질이 낮을 수 있습니다.
온라인 API – fal.ai, WaveSpeed AI, Segmind와 같은 서비스는 GPU 없이 즉시 테스트할 수 있도록 FlashVSR 모델을 호스팅합니다.
FlashVSR+ (2026년 10월) – 하이브리드 어텐션과 보상 인식 사후 훈련(RY-DMD)을 추가하는 확장.

제한 사항 / 주의 사항

공식 파이프라인은 4배 업스케일링에 맞춰져 있습니다. 다른 배율은 불안정할 수 있습니다.
LCSA를 밀집 어텐션으로 대체하는 타사 구현은 특히 고해상도에서 눈에 띄는 아티팩트를 생성할 수 있습니다.
VSR-120K 데이터셋은 아직 공개되지 않았습니다(TODO 목록에 있음).

라이선스 및 인용

코드는 오픈 소스입니다(README에 라이선스 미지정). 연구에서 FlashVSR을 사용하는 경우 다음을 인용하십시오:

@article{zhuang2025flashvsr,
  title={FlashVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution},
  author={Zhuang, Junhao and Guo, Shi and Cai, Xin and Li, Xiaohui and Liu, Yihao and Yuan, Chun and Xue, Tianfan},
  journal={arXiv preprint arXiv:2510.12747},
  year={2025}
}

FlashVSR은 확산 기반 비디오 업스케일링을 실시간 응용 분야로 끌어올리며, 영리한 증류 파이프라인과 희소 어텐션을 결합하여 최신 GPU에서 고품질의 빠른 결과를 제공합니다.

OpenImagingLab/FlashVSR