OpenMOSS/MOSS-TTS

解决的问题

MOSS-TTS 系列是一组开源语音和声音生成模型，旨在处理复杂的现实世界音频制作。它克服了单一 TTS 模型的局限性，提供了针对高保真长文本语音、富有表现力的多说话人对话、基于文本提示的零样本语音设计、低延迟实时交互以及环境音效生成的专用工具。

工作原理

该项目采用三种主要架构，以平衡稳定性、速度和延迟：

• MossTTSDelay：采用多头并行 RVQ 预测与延迟模式调度，专为长上下文稳定性与生产就绪性优化。
• MossTTSLocal：使用时间同步 RVQ 块与深度变换器，专注于轻量级灵活性和流式性能。
• MossTTSRealtime：一种能力驱动的设计，从文本和用户声学中建模多轮上下文，以实现语音代理的低延迟流式语音。

此外，该系列还包含一个 DiT 主干 + 流匹配（Flow Matching）用于 MOSS-SoundEffect-v2.0 模型，以生成高质量的双语音效。

适用人群

该模型系列适用于以下开发者和创作者：

• 内容创作者：用于长篇旁白、播客和配音。
• AI 语音代理：用于实时、低延迟的交互式语音系统。
• 游戏与影视开发者：用于生成环境音效和多样化的角色声音。
• 研究人员：需要可复现的语音合成与音频生成参考的人员。

主要亮点

• 多样化的模型套件：包含适用于通用 TTS、对话（MOSS-TTSD）、语音设计（MOSS-VoiceGenerator）、实时代理（MOSS-TTS-Realtime）和音效（MOSS-SoundEffect）的专用模型。
• 高保真度：通过 MOSS-Audio-Tokenizer-v2 支持 48 kHz 立体声输出。
• 极高的灵活性：提供从约 100M（Nano）到 8B 参数的多种模型尺寸。
• 广泛的语言支持：MOSS-TTS-v1.5 支持 31 种不同语言。
• 部署就绪：支持通过 llama.cpp 和 ONNX Runtime 实现无 torch 推理，并已集成 SGLang-Omni 和 vLLM-Omni 等加速后端。