Zyphra/ZONOS2

解决的问题

ZONOS2 是一个高保真度的文本到语音（TTS）系统，旨在提供自然的语音克隆和富有表现力的语音合成，同时具备低延迟特性。它解决了在保持说话人身份的同时，精确控制情感、语速和音质，生成类人语音的挑战。

工作原理

ZONOS2 使用 Mixture-of-Experts（MoE）骨干网络生成 DAC 令牌。在推理过程中，它处理经过归一化的 UTF-8 字节和 ECAPA-TDNN 说话人嵌入，以合成语音。该系统支持三种层级的多语言覆盖，并提供多种运行方式，包括基于 Mini-SGLang 的高性能推理服务器，以及适用于 CPU 和跨平台使用的 ggml 实现。

适用人群

本项目适用于需要高质量、多语言 TTS，并具备高级语音克隆能力以及在实时应用中微调情感语调的开发者和研究人员。

主要亮点

• 海量训练数据集：在超过 600 万小时的多样化多语言语音数据上进行训练。
• 先进语音克隆：可从参考音频文件中实现高保真度克隆。
• 情感控制：可通过添加方向向量，将语音引导至特定情绪（如快乐、悲伤、愤怒、惊讶）或沿效价/唤醒轴进行调整，而无需改变说话人身份。
• 广泛的语言支持：支持数十种语言，涵盖三个支持层级，包括英语、中文、日语等。
• 灵活的部署方式：提供用于离线推理的 Python API、带有 Web UI 的专用 TTS 服务器，以及 OpenAI 兼容的 API 端点。