Wan-Video/Wan2.2

解决的问题

Wan2.2 是一套大规模视频生成模型，旨在从文本、图像或语音生成高质量、电影级的视频。它解决了在保持计算效率的同时，生成具有复杂运动、精确美学控制和高分辨率（最高 720P）视频的挑战。

工作原理

该项目在其视频扩散模型中采用 Mixture-of-Experts（MoE）架构，通过在不同去噪时间步使用专门的专家模型来提升模型容量，而无需增加计算成本。它在大规模图像和视频数据集上进行训练，包括精心筛选的美学数据，以更好地控制光照和构图。为实现高效生成，使用了具有 16x16x4 压缩比的专用 VAE。

适用人群

本项目适用于 AI 视频生成领域的研究人员和开发者，以及需要在高端 GPU 和消费级硬件（如 RTX 4090）上运行的高分辨率、电影级视频合成工具的工业创作者。

主要亮点

• 多模态输入：支持文本到视频（T2V）、图像到视频（I2V）、文本-图像到视频（TI2V）和语音到视频（S2V）。
• 电影级控制：提供光照、色调和构图的详细标签，实现精确的美学定制。
• 高效高分辨率：5B 模型可在消费级显卡上实现 720P@24fps 的生成。
• 高级动画：包含专门用于角色动画和替换的模型，支持整体运动的精准复制。
• 可扩展推理：支持使用 PyTorch FSDP 和 DeepSpeed Ulysses 的单 GPU 和多 GPU 推理。