Tencent-Hunyuan/HunyuanVideo

解决的问题

HunyuanVideo 是一个大规模开源视频基础模型，旨在弥合开源与闭源视频生成之间的差距。它解决了在生成内容中实现高视觉质量、多样化运动以及强文本到视频对齐的挑战，目标是与领先的专有模型竞争。

工作原理

该模型使用因果 3D VAE 在时空压缩的潜在空间中运行。它采用“双流到单流”混合 Transformer 架构：首先独立处理视频和文本标记（双流）以学习特定模态的调制，然后将它们连接起来（单流）进行多模态融合。

关键技术组件包括：

• MLLM 文本编码器：使用仅解码器的多模态大语言模型，而非标准的 CLIP/T5 编码器，以实现更好的图像-文本对齐和复杂推理。
• 3D VAE：将像素空间的视频和图像压缩到紧凑的潜在空间中，以减少标记数量并保持原始分辨率和帧率。
• 提示重写：一个微调的 Hunyuan-Large 模型，将用户提示转换为模型偏好的描述，以提高意图理解或视觉质量。

适用人群

面向 AI 社区中希望尝试高保真视频生成的研究人员和开发者，以及寻找闭源视频生成器开源替代品的用户。

亮点

• 大规模：一个拥有超过 130 亿参数的视频生成模型。
• 高性能：在专业人工评估中，在运动质量和整体性能方面优于多个闭源基线。
• 灵活推理：支持单 GPU 推理、通过 xDiT 进行多 GPU 序列并行推理，以及 FP8 量化权重以减少内存使用。
• 生态系统集成：已集成到 Hugging Face Diffusers 库中，并得到 ComfyUI 的支持。