Kandinsky 6.0 – 文本到音频视频扩散模型

它是什么

Kandinsky 6.0 是一对开源扩散模型，可根据文本或图像提示生成带有同步 44 kHz 音频的短视频（5 秒）。提供两种尺寸：

• Lite – 3B 参数，速度快，可在高端消费级 GPU 上运行。
• Pro – 29B 参数，质量更高，支持全高清输出。 一个独立的超分辨率插件可以将视频升级到 1920 × 1080。

为什么重要

在单个模型中生成连贯的视频和匹配的音频仍然很少见。Kandinsky 6.0 解决了“唇形同步”问题，并支持两种生成模式：

• T2AV – 文本 → 音频 + 视频。
• TI2AV – 图像 → 音频 + 视频（适用于动画静态图片）。 这些模型被定位为“基础”扩散模型，意味着它们可以被微调或用作下游创意工具的基础。

如何开始

1. 克隆仓库并安装辅助工具（uv 用于隔离 Python 环境，just 用于任务自动化）。
2. 运行 just setup – 这会创建一个专用环境并拉取所需的依赖项。
3. 下载模型检查点（just download pro-distill 用于蒸馏的 5 秒 Pro 版本）。
4. 使用单个命令生成片段，例如：

   just generate 'A cat is lying on a mat, turns toward the camera, opens its mouth and says <S>Hello<E>'
   

   特殊标记 <S>/<E> 表示语音片段。

仓库为不同的运行时（普通管道、vLLM-Omni、SGLang、FastVideo）提供了单独的快速入门指南，以及一个列出所有可复现配方的 justfile。

性能快照（5 秒片段，不包括预热）

GPU	Lite SD (s)	Lite HD	Lite Full HD	Pro SD	Pro HD	Pro Full HD
RTX 4090	437	422	578	936	1194	1247
RTX 5060 Ti	1310	1328	1774	3080	2716	3530
RTX 5080	577	579	770	1336	1189	1546
RTX 5090	309	296	406	754	638	854
RTX PRO 6000	242	274	387	621	561	765
A100 80 GB	532	472	664	972	791	1106
H100 80 GB	239	203	284	356	292	402

数字为生成时间（秒）；权重加载和 MP4 编码不计入。

生态系统集成

• 🤗 Diffusers – 即用型管道（Kandinsky6 类）。
• ComfyUI – 用于可视化工作流编辑器的节点包。
• vLLM-Omni – 支持高吞吐量推理服务器。
• SGLang – 用于低延迟服务的集成。
• FastVideo – 在 FastVideo 框架上的优化推理。
• Hugging Face Space – 蒸馏 Pro 模型的实时演示（5 秒生成）。

更多信息

• 论文：https://huggingface.co/papers/2610.05608
• 模型卡和检查点：https://kandinskylab.ai/models/video/
• 超分辨率插件：https://github.com/kandinskylab/kandinsky-6-sr
• 详细文档位于 docs/ 文件夹中（快速入门、justfile、运行时特定指南）。

---

以上所有信息均直接取自仓库的 README。