Vidu S – 实时交互式视频生成

是什么 – Vidu S 是一个用于实时生成和编辑视频的研究级系统。它包含两个版本：

• Vidu S1 – 540p，42 FPS 模型，允许用户对数字角色（真人、动漫、宠物等）发出语音指令，视频可即时变化。
• Vidu S2 – 升级版 720p，25–42 FPS 引擎，可驱动高分辨率角色，编辑直播流（风格迁移、虚拟试穿、背景替换），并输出同步的立体视频流以供 VR/AR 显示。

关键技术理念

1. 自回放强制 – 训练期间，模型将自身生成的帧（经重加噪后）重新输入，以学习在长时间流中保持一致性。
2. TurboDiffusion / TurboServe – 一系列加速技术（高效注意力、低比特 GEMM、内核优化、多 GPU 流水线）使消费级 GPU 上实现实时推理成为可能。
3. 直播流编辑 – 可在任意时刻替换参考图像，使系统在保持动作一致的前提下，改变人物的服装、风格，甚至替换整个角色。
4. 空间视频 – Vidu S2 可输出左右眼视图，用于沉浸式头显。

如何使用

• 在线试用：托管演示可在 https://www.vidu.com/vidu‑stream 获取。
• API：REST 风格 API（提供中英文文档），开发者可发送视频帧、参考图像、文本或语音指令，并接收生成的视频流返回。
• 代理集成：可在 Claude‑Code、Codex、OpenClaw 等中安装 vidu‑s‑api 技能，使代理可直接调用 Vidu S 服务。

文档与论文

• Vidu S2 论文 – arXiv:2609.11638（涵盖角色、编辑和空间视频流程）。
• Vidu S1 论文 – arXiv:2607.03118（聚焦语音控制生成）。
• 完整用户指南和快速入门教程托管于飞书（中英文）及平台 API 文档中。

谁可能受益

• 直播或虚拟主播平台的开发者：需要实时角色动画或视频特效的场景。
• 研究人员：探索基于扩散的视频生成、长时一致性或低延迟推理的领域。
• 创作者：希望无需预渲染即可实现实时虚拟试穿或背景替换。

引用 – 若在论文中使用 Vidu S，请引用 README 中提供的两个 arXiv 预印本。

---

以上所有信息均直接来自仓库的 README；未推断任何额外功能。