zeroweight-ai/ZeroTTS

解决的问题

ZeroTTS 使得即使在普通笔记本电脑（无需 GPU）上也能轻松从文本生成自然流畅的越南语语音。它解决了两个常见问题：获得一个能正确朗读越南语（包括声调、日期、数字和混合英语单词）的 TTS，以及足够快地生成音频以便流式传输。该项目还允许你通过提供一段简短的语音样本来使用特定声音，不过在此开源版本中，语音克隆步骤本身是通过他们的平台完成的——该包只能加载你已经获得的声音。

工作原理

ZeroTTS 使用一个神经网络，接收文本和“语音潜在向量”（说话者声音的数值表示）并生成音频。该模型在越南语语音上训练，并使用 ONNX Runtime 优化以在 CPU 上运行，这就是它能比实时更快运行的原因。它以小块流式传输音频，因此第一段声音在约 70 毫秒内到达。对于越南语，它内置了文本规范化器，可将日期、数字和缩写扩展为口语单词，但如果你输入的是英语文本，也可以关闭它。

该包包含八个预置声音，你也可以通过从他们的平台获取的 .npz 文件（或此类文件的 zip 包）来添加自己的声音。从音频创建这些潜在向量的语音编码器未发布，因此你无法完全在包内训练自己的声音。

适用人群

ZeroTTS 面向需要在聊天机器人、内容创作或无障碍工具等应用中实现越南语 TTS 的开发者和爱好者。如果你希望 TTS 在本地运行，无需云服务或 GPU，并且关注低延迟和准确性，它尤其有用。浏览器演示也表明它可以完全在客户端运行。

亮点

• 最先进的准确性：在他们的基准测试中，单词错误率比次优的开源越南语 TTS 低约 4 倍。
• CPU 上的实时性能：比实时快约 2 倍，第一段音频在约 70 毫秒内到达。
• 零样本语音克隆：可以从 3–30 秒的参考音频中克隆声音，但克隆工具本身仅通过他们的平台提供。
• 纯 Python 包，依赖最少（生成时无需 PyTorch）。
• 包含越南语文本规范化器，可扩展日期、时间、分数和缩写。
• 可选的 int8 量化，可在内存受限的 CPU 上将合成时间缩短约一半。
• 包含 Web UI 和浏览器演示。