microsoft/VibeVoice

解決的問題

VibeVoice 解決了處理與生成長篇音訊時，難以維持說話者一致性與語意連貫性的挑戰。它為高保真語音識別 (ASR) 與文字轉語音 (TTS) 提供了一個統一框架，能夠處理長篇音訊序列，無需將音訊切割成簡短且不連續的片段。

運作原理

該系統使用以 7.5 Hz 超低幀率運作的連續語音標記器（聲學與語意），以高效保留音訊保真度。它採用下一個標記擴散框架，結合大型語言模型 (LLM) 來處理文字上下文與對話流程，並透過擴散頭生成高保真的聲學細節。

適用對象

專為從事語音 AI 研究的開發人員與研究人員設計，特別是需要處理長篇對話音訊、播客或多說話者對話的用戶。

特色亮點

• 長篇 ASR：單次處理長達 60 分鐘的連續音訊，提供包含說話者身分、時間戳記與內容的結構化轉錄。
• 自訂熱詞：允許使用者提供特定名稱或技術術語，以提高特定領域內容的識別準確度。
• Streaming ASR：一種可即時轉錄傳入音訊的變體。
• 長篇 TTS：能夠在單次對話中合成長達 90 分鐘的語音，最多支援 4 位不同說話者。
• 即時 TTS：輕量級 0.5B 參數模型，專為低延遲串流文字轉語音生成而設計。
• 邊緣部署：包含 ASR 模型的 BitNet 版本，無需 GPU 即可在 CPU 上進行即時推論。