KoljaB/RealtimeTTS

解决的问题

RealtimeTTS 解决了通常与文本转语音（TTS）系统相关的高延迟问题，使其适用于对话式 AI 应用。它允许开发者将字符串、生成器以及实时的 LLM 令牌流实时转换为音频，从而缩短文本生成与可听语音之间的差距。

工作原理

该库作为大量 TTS 引擎的灵活封装器。它可以处理文本输入（包括来自 LLM 的流式块），并将它们输入到选定的引擎中以生成音频。支持本地播放、将音频块流式传输到其他进程，或保存输出为 WAV 文件。为降低延迟，它采用句子分割等技术，并支持高性能引擎（如 Qwen），这些引擎可在 GPU 或 CPU 上运行，并具有优化的原生运行时。

适用人群

专为使用 Python 构建语音驱动的 AI 代理、对话机器人以及任何需要从动态文本源进行低延迟、高质量语音合成的应用程序的开发者设计。

主要亮点

• 广泛的引擎支持：集成本地系统语音、云 API（OpenAI、Azure、ElevenLabs）以及本地神经模型（Qwen、Coqui、Piper）。
• 低延迟：针对流式传输 LLM 输出进行优化，确保快速音频启动。
• 语音克隆：通过兼容引擎（如 Qwen）支持 x-vector 和 ICL 语音克隆。
• 灵活的输出：支持本地扬声器播放、WAV 文件导出以及静音合成。
• 容错性：包含备用引擎功能，确保主引擎失败时合成仍可继续。