KittenML/KittenTTS

解决的问题

Kitten TTS 是一个开源文本转语音 (TTS) 库，提供高质量、自然听感的音频生成。它解决了在消费级硬件（包括 CPU）上运行高效、具表现力语音合成的需求，无需 GPU。

运作原理

该库包含两个主要模型系列：KittenTTS 2（一个 1.7B 参数的 1-bit 语音语言模型）以及一系列轻量级 ONNX 模型（15M-80M 参数）。KittenTTS 2 通过使用目标说话者 5-30 秒的音频片段作为参考，实现情境内语音克隆。它采用双路径方法来保持身份特征，结合提示词中的说话者嵌入与编解码器标记。该系统还支持 20 种语言的多语言合成，并包含自动展开数字、日期与缩写的文本预处理功能。

适用对象

此工具专为需要将语音合成集成至应用程序的开发者与创作者设计，特别是那些需要在无需昂贵 GPU 基础设施的情况下，实现语音克隆与情感表达控制的用户。

特色亮点

• 零样本语音克隆 (Zero-shot voice cloning)：无需微调，即可从短音频样本 (5-30 秒) 克隆任何声音。
• CPU 优化：通过 llama.cpp 分支进行 C++ 推理优化，在 CPU 上实现实时性能。
• 表达控制：使用标签来控制情感、语音事件（如笑声）与强调，以引导语音传达。
• 多语言支持：支持 20 种不同语言。
• 长文本处理：针对长脚本进行自动句子感知分块与无缝拼接。
• 流式传输：支持块级流式传输，以减少初始播放延迟。
• 丰富的内置语音：包含 47 种预定义语音。