zhao-kun/VibeVoiceFusion

解决的问题

VibeVoiceFusion 是一个全栈 Web 应用程序，旨在让高质量的多说话人合成语音和语音克隆变得易于使用。它无需编程知识即可完成复杂的任务，例如多说话人对话合成、通过 LoRA 微调进行自定义语音适配，以及在消费级 GPU 上进行内存优化的推理。

工作原理

该项目基于 Microsoft 的 VibeVoice 模型构建，该模型采用混合架构，结合了自回归（AR）语言模型骨干（Qwen）和基于扩散的优化头。

1. 处理：文本被分词，参考语音样本被编码为嵌入向量。
2. 生成：AR 模型生成语音标记，随后由基于 DPM-Solver 的扩散头将其转换为高质量音频波形。
3. 优化：为在消费级硬件上运行，实现了 Float8 量化（将模型大小从 14GB 减少到 7GB）和动态层卸载，将 Transformer 层在 CPU 和 GPU 之间移动以节省 VRAM。
4. 定制：支持 LoRA（低秩适应）微调，允许用户在特定语音数据集上训练模型，以实现更好的风格迁移和语音定制。

适用人群

• 内容创作者：用于制作包含多个独特声音的播客、有声书或带旁白的文章。
• AI 爱好者：希望克隆声音并无需编写代码即可实验 TTS（文本转语音）的用户。
• 开发者：希望获得一个完整、可 Docker 部署的语音生成系统的开发者。

主要亮点

• 多说话人对话编辑器：支持拖拽重排的可视化编辑器，用于处理复杂对话。
• VRAM 优化：提供多种卸载模式（平衡、激进、极端），使模型可在仅 10GB VRAM 的 GPU 上运行。
• LoRA 训练套件：集成的数据集管理与训练系统，支持实时指标和 TensorBoard 集成。
• 双语支持：完整支持英文和中文的 UI 与后端。
• 批量生成：可使用不同随机种子一次性生成 2–20 个音频变体。