chenfengxu714/StreamDiffusionV2

解決的問題

StreamDiffusionV2 解決了即時生成高品質影片時的延遲與吞吐量挑戰。它支援動態且互動式的影片到影片生成，讓創作者與平台能在各種GPU配置下，以高每秒幀數（FPS）產生串流影片內容。

工作原理

此系統實作了一個串流式擴散管道，將影片以區塊方式處理，而非整體處理。它利用因果式DiT（Diffusion Transformer）與環形緩衝KV快取，實現高效的滑動視窗注意力機制。該管道支援多種執行模式：單GPU串流、無串流批次的單GPU，以及多GPU流水線平行推論。為進一步提升速度，還提供透過TensorRT的可選加速，以及輕量級的TAEHV-VAE解碼器。

適用對象

此工具專為需要在NVIDIA GPU上實現高吞吐量影片生成的AI研究人員、影片創作者，以及開發即時互動式影片應用的開發者設計。

主要亮點

• 高性能量產：針對即時串流優化，支援高每秒幀數（FPS）。
• 彈性擴展：可從單GPU設定擴展至多GPU流水線平行配置。
• 硬體最佳化：初始支援NVIDIA Blackwell GPU，並可選整合Flash-Attention。
• 互動能力：專為動態與互動式影片生成任務設計。