NVlabs/LongLive

解決的問題

LongLive 2.0 是一種旨在提升長影片生成效率與可擴展性的基礎設施。它解決了生成長序列影片幀所帶來的高計算與記憶體成本問題，支援即時互動式生成與高吞吐量推論。

工作原理

該專案實現了一種並行基礎設施，利用 NVFP4（一種 4 位元浮點格式）與序列並行技術，以優化訓練與推論。

在訓練方面，支援文字到影片（T2V）與影像到影片（I2V）模態的自回歸（AR）教師強制訓練，以及少步驟蒸餾（DMD 蒸餾），以減少生成所需的步數。

在推論方面，利用 NVFP4 權重與 KV 快取來降低記憶體開銷，採用序列並行推論與非同步解碼。同時整合多點注意力吸收等技術，以維持長時間的穩定性。

適用對象

此基礎設施適用於致力於長時程影片生成的研究人員與開發者，特別是使用 NVIDIA GPU（SM90/H100）以最大化吞吐量與硬體加速量化者。

主要特色

• NVFP4 支援：實作 W4A4 量化與 NVFP4 KV 快取，大幅加快推論速度（最高達 45.7 FPS）。
• 因果擴散：支援 AR 訓練與 DMD 蒸餾，實現高效、少步驟的影片生成。
• 並行處理：具備平衡的序列並行訓練與序列並行推論，以處理長序列。
• 多樣化模態：支援文字到影片（T2V）與影像到影片（I2V）工作流程。
• FP8 PTQ：內建 TorchAO FP8 後訓練量化功能，適用於 BF16 檢查點。