Edge0-AI/Audio8_TTS

解决的问题

Audio8 TTS 提供了紧凑且高效的模型，能够实现零样本语音克隆。它允许用户仅通过一小段音频样本模仿特定声音，从而从文本生成自然的语音，而无需事先针对该特定声音进行模型训练。

工作原理

该项目提供两个主要模型系列：一个专注于高质量多语言语音合成的 0.6B 参数模型，以及一个专为极致便携性和 CPU 推理设计的 0.1B 参数模型。用户提供文本提示，并可选择提供参考音频文件以克隆目标声音。系统支持在支持 CUDA 的 GPU 上进行标准的 Python 推理，以及通过 ONNX runtimes 和 SGLang Omni 进行优化部署，以实现可扩展且 API 兼容的服务。

适用人群

该项目适用于需要在应用程序中集成文本转语音功能，且对模型大小、性能以及即时语音克隆能力有严格要求的开发者和研究人员。对于需要多语言支持或在受限硬件上进行轻量级部署的用户尤其有用。

亮点

• 零样本语音克隆：仅使用简短的参考录音即可生成目标声音的语音。
• 多语言支持：0.6B 模型支持 23 种语言，包括英语、中文、日语、德语等。
• 灵活部署：选项涵盖从高性能 GPU 推理到针对较小占用空间的 CPU 优化 ONNX runtimes。
• 可扩展服务：包含对 SGLang Omni 的支持，提供动态批处理和 OpenAI 兼容 API 等功能。
• 支持微调：提供监督微调工具，以进一步根据特定需求调整模型。