PKU-YuanGroup/Helios

解決的問題

Helios 解決了即時生成高品質分鐘級長影片的挑戰。它在保持強大連貫性和高推理速度的同時，消除了對複雜抗漂移策略（防止隨時間產生的視覺不一致性）和標準加速技術的需求。

工作原理

Helios 是一個採用自回歸方法、以 33 幀為區塊生成影片的 14B 參數影片生成模型。它採用基於金字塔的採樣流水線和特定的優化來提高訓練和推理吞吐量。該專案提供三個模型版本：Base（最高品質）、Mid（中間）和 Distilled（最高效率）。它還支持高級記憶體和計算優化，例如透過 group offloading 將 VRAM 使用量降低至約 6GB，以及用於多 GPU 擴展的上下文並行（例如 Ulysses、Ring 和 Unified Attention）。

適用對象

專為從事影片合成的 AI 研究人員和開發人員設計，他們需要在高品質長影片生成與可用硬體（從消費級 PC 到 H100 GPU）的即時性能之間取得平衡。

亮點

• 即時性能：在單塊 H100 GPU 上實現高達 19.5 FPS 的性能。
• 長影片合成：能夠生成分鐘級影片，無需依賴傳統的抗漂移方法。
• 記憶體效率：支持 group offloading，使模型僅需約 6GB VRAM 即可運行。
• 多模態支持：支持 text-to-video (T2V)、image-to-video (I2V) 和 video-to-video (V2V)。
• 廣泛集成：對 Diffusers、SGLang-Diffusion、vLLM-Omni 和 Ascend-NPU 提供 Day-0 支持。