zhao-kun/VibeVoiceFusion

解决的问题

VibeVoiceFusion 提供了一个全面且用户友好的 Web 界面，用于多说话人语音生成和语音识别。它使用户能够在单一的双语（中/英）环境中，在消费级硬件上本地运行，进行高质量的语音克隆、音频文件转录以及文本转语音生成。

工作原理

该应用程序基于微软的 VibeVoice 模型构建，后端采用 API 服务器，前端使用 Next.js。它支持通过短参考样本进行语音克隆，允许通过 LoRA 微调来自定义语音特征，并提供与 OpenAI 兼容的 API 以便与现有工具集成。系统通过 Float8 量化和层卸载等技术，针对消费级 GPU（10GB+ VRAM）优化了性能。

适用人群

本项目专为需要本地自托管解决方案来处理高级文本转语音和语音转文本任务的开发者、研究人员和内容创作者设计。对于那些希望在不依赖云服务的情况下尝试语音克隆、多说话人对话或模型微调的用户特别有用。

主要亮点

• 多说话人支持：为不同说话人创建具有独特语音特征的复杂对话。
• 灵活的生成方式：包含可视化对话编辑器、旁白模式和批量生成功能。
• LoRA 微调：直接通过界面管理数据集并训练自定义 LoRA。
• 开发者友好：提供与 OpenAI 兼容的 API 和 CLI 工具，实现无缝集成。
• 硬件优化：利用 Float8 量化和可配置的层卸载技术，在消费级 GPU 上高效运行。