OpenMOSS/MOSS-TTS-Nano

解决的问题

MOSS-TTS-Nano 旨在使高保真多语言语音生成适用于实时产品。它通过提供仅 0.1B 参数的极小模型体积，解决了通常与 TTS 模型相关的高部署成本和高延迟问题，可在无需 GPU 的情况下在 CPU 上高效运行。

工作原理

该项目采用纯自回归流水线，包含 音频分词器 和 大语言模型（LLM）。

• MOSS-Audio-Tokenizer-Nano：基于 Cat 架构（因果音频分词器 + Transformer）的轻量级、无 CNN 分词器（20M 参数）。使用 RVQ 和 16 个码本，将 48 kHz 立体声音频压缩为 12.5 Hz 的 token 流。
• TTS 流水线：LLM 生成音频 token，随后解码为高保真 48 kHz、双通道音频。
• 部署选项：支持标准 PyTorch 推理、高度优化的 ONNX CPU 版本（移除 PyTorch 依赖，效率提升近 2 倍），甚至支持 Android ONNX Runtime 集成。

适用人群

• 需要低延迟的实时语音应用开发者。
• 希望仅使用 CPU 在消费级硬件（如 MacBook Air M4）上本地运行高质量 TTS 的用户。
• 将语音生成集成到轻量级 Web 服务或移动应用中的产品团队。

核心亮点

• 超轻量：主模型仅 0.1B 参数。
• 原生 CPU 支持：可在 4 核 CPU 上实现流式生成。
• 多语言支持：支持 20 种语言，包括中文、英文、德语、西班牙语、法语、日语等。
• 语音克隆：支持使用参考音频提示进行零样本语音克隆。
• 高保真输出：原生 48 kHz 立体声输出。
• 灵活部署：可通过 CLI、FastAPI Web 演示，以及 ONNX 用于独立 CPU/Android 使用。