Tencent-Hunyuan/HunyuanVideo
HunyuanVideo: A Systematic Framework For Large Video Generation Model
What it solves
HunyuanVideo 是一個大規模開源影片基礎模型，旨在彌合開源與閉源影片生成之間的差距。它解決了製作具備強大運動多樣性、精確文字‑影片對齊以及生成穩定性的高品質影片的挑戰，目標是匹配或超越領先的專有模型表現。
How it works
模型在使用 Causal 3D VAE 的時空壓縮潛在空間上運作。它採用 “Dual‑stream to Single‑stream” 混合 Transformer 架構：首先獨立處理影片與文字 token（dual‑stream），隨後將它們串接進行多模態融合（single‑stream）。文字編碼方面，使用預訓練的 Decoder‑Only 多模態大型語言模型（MLLM）並結合雙向 token 精煉器，以提升指令遵循與細節描述能力。此外，還使用微調過的 Hunyuan‑Large 模型將使用者提示改寫為模型較偏好的格式，從而獲得更佳的視覺品質與意圖理解。
Who it’s for
需要高效能、開源的文字轉影片生成工具，能產出專業級視覺與運動品質的 AI 研究者、開發者與創作者。
Highlights
- Massive Scale: One of the largest open-source video generative models with over 13 billion parameters.
- Unified Architecture: Uses a hybrid Transformer design to handle both image and video generation.
- Advanced Text Encoding: Leverages an MLLM instead of standard CLIP/T5 encoders for superior reasoning and alignment.
- Efficient Compression: Employs a 3D VAE to reduce token counts, enabling training at original resolutions and frame rates.
- Flexible Inference: Supports single-GPU, multi-GPU parallel inference (via xDiT), and FP8 quantization to reduce memory overhead.