microsoft/VibeVoice

解决的问题

VibeVoice 解决了处理与生成长篇音频时，难以维持说话者一致性与语义连贯性的挑战。它为高保真语音识别 (ASR) 与文字转语音 (TTS) 提供了一个统一框架，能够处理长篇音频序列，无需将音频切割成简短且不连续的片段。

运作原理

该系统使用以 7.5 Hz 超低帧率运作的连续语音标记器（声学与语义），以高效保留音频保真度。它采用下一个标记扩散框架，结合大型语言模型 (LLM) 来处理文本上下文与对话流程，并透过扩散头生成高保真的声学细节。

适用对象

专为从事语音 AI 研究的开发人员与研究人员设计，特别是需要处理长篇对话音频、播客或多说话者对话的用户。

特色亮点

• 长篇 ASR：单次处理长达 60 分钟的连续音频，提供包含说话者身份、时间戳与内容的结构化转录。
• 自定义热词：允许用户提供特定名称或技术术语，以提高特定领域内容的识别准确度。
• Streaming ASR：一种可实时转录传入音频的变体。
• 长篇 TTS：能够在单次对话中合成长达 90 分钟的语音，最多支持 4 位不同说话者。
• 实时 TTS：轻量级 0.5B 参数模型，专为低延迟流式文字转语音生成而设计。
• 边缘部署：包含 ASR 模型的 BitNet 版本，无需 GPU 即可在 CPU 上进行实时推理。