chenfengxu714/StreamDiffusionV2

解决的问题

StreamDiffusionV2 解决了实时生成高质量视频时的延迟和吞吐量挑战。它支持动态且交互式的视频到视频生成，使创作者和平台能够在各种GPU配置下实现高帧率（FPS）的流媒体视频内容生成。

工作原理

该系统实现了一个流式扩散管道，将视频按块处理而非整体处理。它利用因果DiT（Diffusion Transformer）和环形缓冲KV缓存，实现高效的滑动窗口注意力机制。该管道支持多种执行模式：单GPU流式处理、无流式批处理的单GPU、以及多GPU流水线并行推理。为进一步提升速度，还提供通过TensorRT进行可选加速，以及轻量级的TAEHV-VAE解码器。

适用人群

本工具专为需要在NVIDIA GPU上实现高吞吐量视频生成的AI研究人员、视频创作者以及开发实时交互式视频应用的开发者设计。

主要亮点

• 高性能：针对实时流媒体优化，支持高帧率（FPS）。
• 灵活扩展：可从单GPU配置扩展到多GPU流水线并行配置。
• 硬件优化：初始支持NVIDIA Blackwell GPU，并可选集成Flash-Attention。
• 交互能力：专为动态和交互式视频生成任务设计。