KittenML/KittenTTS

解决的问题

Kitten TTS 提供了一个灵活的开源文本转语音 (TTS) 解决方案，能够实现高质量、富有表现力的语音合成，并支持语音克隆和多语言输出。它旨在高效运行于包括 CPU 在内的消费级硬件上，无需专用 GPU。

工作原理

该库使用了一个 1.7B 参数的语音语言模型 (KittenTTS 2)，可以通过 47 种内置音色或用户提供的 5-30 秒音频参考进行即时语音克隆。它支持通过标记标签（例如 [emotion]、(((emphasis)))）进行高级表达控制，并通过自动句子感知分块处理长文本。对于 CPU 受限的环境，它通过自定义的 llama.cpp 分支或轻量级 ONNX 模型提供优化推理。

适用人群

本项目适用于需要将高质量、可定制的语音合成集成到应用程序中，且不依赖昂贵云 API 的开发者和研究人员。它特别适合构建本地优先或资源受限的 AI 应用程序，且需要实时音频生成的场景。

亮点

• 即时语音克隆： 仅需 5-30 秒音频即可克隆任何说话人，无需微调。
• CPU 优化： 在标准 CPU 上实时运行，支持大规模模型和轻量级（15M-80M 参数）替代方案。
• 多语言支持： 能够生成 20 种不同语言的语音。
• 表达控制： 支持情感标签和语音事件，以引导生成语音的语调和表达。
• 灵活的后端： 支持标准 Python 使用、优化的 C++ CPU 推理以及用于高性能 GPU 环境的 vLLM。