Zyphra/ZONOS2

解決的問題

ZONOS2 是一個高保真度的語音合成（TTS）系統，旨在提供自然的語音克隆與富有表現力的語音合成，同時具備低延遲特性。它解決了在保持說話人身份的同時，精確控制情感、語速與音質，生成類人語音的挑戰。

工作原理

ZONOS2 使用 Mixture-of-Experts（MoE）骨幹網絡生成 DAC 令牌。在推理過程中，它處理經過歸一化的 UTF-8 字節與 ECAPA-TDNN 說話人嵌入，以合成語音。該系統支援三種層級的多語言覆蓋，並提供多種運行方式，包括基於 Mini-SGLang 的高性能推理伺服器，以及適用於 CPU 與跨平台使用的 ggml 實作。

適用對象

本專案適用於需要高品質、多語言 TTS，並具備高階語音克隆能力，以及在即時應用中微調情感語調的開發者與研究人員。

主要亮點

• 龐大的訓練資料集：在超過 600 萬小時的多樣化多語言語音資料上進行訓練。
• 先進語音克隆：可從參考音訊檔案中實現高保真度克隆。
• 情感控制：可透過添加方向向量，將語音引導至特定情緒（如快樂、悲傷、憤怒、驚訝）或沿效價／激動軸進行調整，而無需改變說話人身份。
• 廣泛的語言支援：支援數十種語言，涵蓋三個支援層級，包括英語、中文、日語等。
• 彈性的部署方式：提供用於離線推理的 Python API、具備 Web UI 的專用 TTS 伺服器，以及 OpenAI 相容的 API 端點。