vibevoice-community/VibeVoice

解决的问题

VibeVoice 旨在从文本生成富有表现力、长时长、多说话人的对话式音频（如播客）。它克服了常见 TTS 挑战，例如在长时间内保持说话人一致性，以及管理多个说话人之间的自然发言轮换。

工作原理

该框架使用在极低帧率（7.5 Hz）下运行的连续语音分词器（声学和语义）来在保持音频质量的同时提高效率。它结合大型语言模型（LLM）处理文本上下文和对话流程，并通过下一令牌扩散框架使用扩散头生成高保真声学细节。

适用人群

适用于长时音频内容创作者，如播客制作人，以及开发实时 TTS 应用的开发者。

主要亮点

• 长时合成：可生成长达 90 分钟的音频。
• 多说话人支持：单次会话中支持最多 4 位不同说话人。
• 实时能力：包含专为低延迟 TTS 设计的 0.5B 流式模型。
• 语音克隆：支持从音频样本中克隆声音（1.5B 和 7B 模型）。
• 微调：社区支持的实现，可用于将模型适配到新语言或新声音。