inclusionAI/Ming-3.0-tts

它是什么

Ming-3.0-tts 是一个文本转语音系统，将书面文本转换为语音音频。其核心特点是控制：你可以控制谁在说话（克隆声音、根据描述设计声音，或选择内置声音），如何说（情感、速度、音调、音量，或自然语言指令如“用温暖、亲密的讲故事声音说”），以及超越言语的内容（笑声、叹息、咳嗽等内联标签）。它还支持多种语言和方言，并且在更大的模型中，可以从脚本生成多说话人对话。

两个模型

模型	架构	大小	备注
Ming-3.0-tts-0.5b	密集（每个输出使用每个参数）	5 亿	更易于运行；主要快速入门路径
Ming-3.0-tts-tiny	MoE（专家混合——每个 token 仅激活部分参数）	总计 7.9B，激活 1.3B	基于 Ling V3 骨干；添加 podcast 多说话人任务

两者共享相同的生成框架：文本加任务特定的控制 token 输入语言模型，该模型驱动 DiT（扩散变换器）patch 头和音频分词器生成语音。

关键能力

• 声音创建 — 三种途径：从短音频片段克隆参考声音，从文本描述设计声音（例如“成熟、稳定的男性纪录片解说员”），或从 100+ 中文和 5 个英文内置声音中选择。
• 自由格式控制 — 用自然语言描述期望的发音；无需固定参数列表。
• 副语言控制 — 14 个内联标签（[Laughter]、[Sigh]、[Cough]、[Surprise-ah] 等），可放置在句子中的任何位置，支持中文或英文。
• 语言与方言 — 中文、英语、德语、西班牙语、法语、韩语、日语，以及四川话和粤语。
• 情感与属性 — 明确的情感标签（快乐、悲伤、愤怒、恐惧、厌恶、惊讶、中性）以及速度/音调/音量设置。
• 多说话人对话 — podcast 任务（仅 tiny）：编写带有 speaker_1: / speaker_2: 行的脚本，并为每个说话人提供一个参考音频。

重要约束：每个能力是单独的任务模式。你不能在一次调用中自由混合，例如情感 + 方言 + 声音设计——系统会拒绝来自其他任务的控制。

独立排行榜结果

在第三方 Artificial Analysis TTS 排行榜（2026 年 10 月）上：

• Controlled Voice — 开放权重模型中排名第 1（总体第 13）；每个模型克隆相同的 8 个声音。
• 发音鲁棒性 — 总体第 1（93.2% 正确发音跨度）；在扩展缩写（96.5%）和保留精确序列（90.6%）上也排名第 1。
• Provider Voice — 开放权重模型中排名第 3（总体第 17）。

随着新模型的加入，排名会变化。

快速开始

通过 pip install -r requirements.txt（0.5b）或 Docker 镜像安装；tiny 需要单独固定的环境（Python 3.10.15，PyTorch 2.7.1+cu118）。从 Hugging Face 或 ModelScope 下载权重。文本规范化使用 FST 语法，需要 pynini（可选；可以跳过）。

一个最小的 0.5b 调用：

from ming_tts import MingTTS
model = MingTTS("inclusionAI/Ming-3.0-tts-0.5b")
model.synthesize(
    task="TTS",
    language_id="Chinese",
    text="傍晚的风从山口吹过来，远处的云慢慢染成了金色。",
    prompt_wav_path="data/voice_presets/voice_audio/lingguang.wav",
    prompt_text="诶，你今天有空吗？我们能不能聊聊这件事啊？",
    use_spk_emb=True,
    output_path="output/tts.wav",
)

Tiny 使用类似的 API（MingTinyTTS.from_pretrained(...).generate(...)），任务名称小写，并在 examples/one_click/ 中提供一键 shell 脚本。

任务模式（“食谱”)

README 的食谱按生产线组织任务：谁在说话（克隆、声音设计、内置 IP 声音），如何说（自由格式、情感、速度/音调/音量），超越言语（副语言标签），以及在哪里听到（多语言、方言）。每个示例是单个任务；混合会被拒绝。完整值列表在 cookbooks/instruction_en.md / cookbooks/instructions.md 中，并附有端到端笔记本。

性能亮点（开放基准）

• 副语言： 两个模型在 NVBench 所有六个单标签指标上达到 SOTA；tiny 在英语所有三个多标签指标上达到 SOTA。
• 方言： 0.5b 在粤语 Base CER/ACC 上达到 SOTA；tiny 在四川话 Hard CER 和 Easy ACC 上达到 SOTA。
• 多语言： tiny 在德语和西班牙语 WER 上达到 SOTA，法语 WER 排名第 2，日语 CER 并列第 2。
• 情感： tiny 在 CV3 文本相关 Happy 上并列 SOTA，在 CV3N 两个 Sad 子集上达到 SOTA；0.5b 在 CV3 文本相关 Angry 上达到 SOTA。
• 属性控制： 0.5b 在平均准确率和音调上领先；tiny 在 WER 和说话人相似度上领先。
• Podcast（tiny）： CER 2.03%，cpSIM 0.561，UTMOS 2.12 — 排名第 1、第 2、第 2。
• 声音设计（tiny）： 平均准确率（75.37%）、APS（85.10%）、DSD（79.90%）排名第 2。
• 中文/英语： 0.5b 中文 WER 排名第 3；tiny 在中文和英语说话人相似度上达到 SOTA。

排名仅在列出的开源模型之间计算；Seed-TTS 和 NVbench-GT 是参考行，不参与排名。如果历史 Ming-omni-tts 结果优于 Ming-3.0-tts 值，README 会注明并声明不声称 SOTA。

路线图状态

已发布：两个模型的权重和推理代码、tiny 基准测试以及 vLLM-Omni 加速推理。尚未发布：技术报告。

备注

• README 在目录中列出了 Limitations 部分和 Usage Disclaimer，但提供的摘录不包含其内容——所以我无法总结。
• README 还链接了演示视频和带有音频示例的博客，用于并排聆听。