ModelTC/LightX2V

Lightweight Image Video Action Generation Inference Framework

解決的問題

LightX2V 是一個高性能推理框架，旨在提高圖像與影片生成的效率。它解決了最先進的擴散模型與自回歸模型的高計算成本與高記憶體需求問題，使得在包括消費級 GPU 在內的更廣泛硬體上實現更快的合成與部署成為可能。

工作原理

該框架為各種生成任務（text-to-video、image-to-video、text-to-image 與 image-editing）提供了一個統一的平台。它透過以下幾種優化技術實現加速：

  • Step Distillation: 減少推理步驟（例如從 50 步減少到 4 步），從而大幅縮短生成時間。
  • Quantization: 支援 FP8 與 NVFP4 格式，以減少記憶體占用並提高吞吐量。
  • Memory Management: 實作區塊級與階段級卸載，允許在顯存較低的 GPU 上執行大型模型。
  • Parallelism: 利用 CFG 與 Ulysses 並行技術將工作負載分配到多個 GPU 上。
  • Hardware Support: 針對各種加速器進行了優化，包括 NVIDIA (H100, RTX 4090)、AMD ROCm、Ascend 910B 等。

適用對象

  • AI 開發者: 需要用於部署多種視覺生成模型的統一、優化流水線的開發者。
  • 研究人員: 尋求對大型影片模型的蒸餾與量化版本進行基準測試或部署的研究人員。
  • 內容創作者: 希望以更少的硬體開銷更快地生成高品質 AI 影片/圖像的創作者。

亮點

  • 大幅加速: 透過蒸餾與系統優化，聲稱在單 GPU 上可實現高達 20 倍的加速。
  • 廣泛的模型支援: 相容於 LTX-2、HunyuanVideo-1.5、Wan2.1/2.2 與 Qwen-Image。
  • 靈活的部署: 為不同層級的使用者提供 Gradio、ComfyUI 與 Windows 一鍵安裝程式。
  • 多硬體相容性: 支援包括 NVIDIA、AMD、Intel AIPC 與各種專用 AI 晶片在內的廣泛後端。