xin1u/UltraFlash

解决的问题

Ultra Flash 解决了实时生成高分辨率（1K 和 2K）视频的挑战。传统的视频生成模型通常难以应对高分辨率输出所需的计算强度，导致生成速度缓慢。该框架在单张 GPU 上实现了约 30 FPS 的 1K 分辨率和 18 FPS 的 2K 分辨率的流式视频生成。

工作原理

该系统使用了一种基于低分辨率流式生成器的级联架构。它通过四个主要阶段处理视频：自强制生成器产生低分辨率潜变量，因果潜变量上采样器提高分辨率，稀疏超分辨率 (SR) Diffusion Transformer (DiT) 细化细节，以及一个微型解码器将这些潜变量转换为高分辨率像素输出。该框架结合了动态缓存管理和块稀疏注意力机制，在保持时间连贯性和速度的同时，最大限度地减少了内存开销。

适用人群

本项目适用于致力于实时生成视频应用的研究人员和开发人员，他们需要在高视觉保真度和低延迟性能之间取得平衡。它专为拥有高端 NVIDIA 硬件（24GB+ VRAM）并希望部署或试验高效、支持流式传输的视频生成流水线的用户而设计。

亮点

• 实现实时性能：在单张 GPU 上 1K 分辨率下约 30 FPS，2K 分辨率下约 18 FPS。
• 包含动态缓存管理 (DCM)，以在几乎不损失质量的情况下优化推理速度。
• 支持短视频和长视频生成（最长约 10 秒）。
• 提供模块化流水线，包括一个与标准 VAE 相比转换速度更快的微型解码器。