Tencent-Hunyuan/HunyuanVideo
HunyuanVideo: A Systematic Framework For Large Video Generation Model
What it solves
HunyuanVideo 是一个大规模开源视频基础模型，旨在弥合开源与闭源视频生成之间的差距。它解决了创建具有强运动多样性、精确文本‑视频对齐以及生成稳定性的高质量视频的难题，目标是匹配或超越领先的专有模型的性能。
How it works
模型在使用 Causal 3D VAE 的时空压缩潜在空间上运行。它采用 “Dual‑stream to Single‑stream” 混合 Transformer 架构：首先独立处理视频和文本 token（dual‑stream），随后将它们拼接进行多模态融合（single‑stream）。文本编码方面，使用预训练的 Decoder‑Only 多模态大语言模型（MLLM）并结合双向 token 精炼器，以提升指令遵循和细节描述能力。此外，还使用微调后的 Hunyuan‑Large 模型将用户提示改写为模型更偏好的格式，从而获得更好的视觉质量和意图理解。
Who it’s for
需要高性能、开源的文本到视频生成工具，能够产出专业级视觉和运动质量的 AI 研究者、开发者和创作者。
Highlights
- Massive Scale: One of the largest open-source video generative models with over 13 billion parameters.
- Unified Architecture: Uses a hybrid Transformer design to handle both image and video generation.
- Advanced Text Encoding: Leverages an MLLM instead of standard CLIP/T5 encoders for superior reasoning and alignment.
- Efficient Compression: Employs a 3D VAE to reduce token counts, enabling training at original resolutions and frame rates.
- Flexible Inference: Supports single-GPU, multi-GPU parallel inference (via xDiT), and FP8 quantization to reduce memory overhead.