inclusionAI/Ming-3.0-tts

それは何か

Ming-3.0-tts は、書かれたテキストを音声に変換するテキスト読み上げシステムです。その主な特徴は制御です：誰が話すか（声のクローン、説明からのデザイン、または内蔵音声の選択）、どのように話すか（感情、速度、ピッチ、音量、または「温かく親密な語り口で話す」などの自然言語指示）、そして言葉を超えたもの（笑い、ため息、咳などのインラインタグ）を操作できます。また、複数の言語と方言をサポートし、より大きなモデルでは、スクリプトからマルチスピーカー対話を生成できます。

2つのモデル

モデル	アーキテクチャ	サイズ	備考
Ming-3.0-tts-0.5b	デンス（すべての出力にすべてのパラメータを使用）	5億	実行が簡単；主なクイックスタートパス
Ming-3.0-tts-tiny	MoE（Mixture of Experts — トークンごとに一部のパラメータのみアクティブ）	合計7.9B、アクティブ1.3B	Ling V3 バックボーンに基づく；podcast マルチスピーカータスクを追加

両方とも同じ生成フレームワークを共有しています：テキストとタスク固有の制御トークンが言語モデルに入力され、DiT（拡散トランスフォーマー）パッチヘッドとオーディオトークナイザーを駆動して音声を生成します。

主な機能

• 音声作成 — 3つの方法：短いオーディオクリップから参照音声をクローン、テキスト説明から音声をデザイン（例：「成熟した、安定した男性ドキュメンタリーナレーター」）、または100以上の中国語と5つの英語の内蔵音声から選択。
• 自由形式制御 — 希望する発話を自然言語で記述；固定パラメータリストは不要。
• パラ言語制御 — 14のインラインタグ（[Laughter]、[Sigh]、[Cough]、[Surprise-ah] など）を文の任意の場所に配置可能、中国語または英語。
• 言語と方言 — 中国語、英語、ドイツ語、スペイン語、フランス語、韓国語、日本語、および四川語と広東語。
• 感情と属性 — 明示的な感情ラベル（幸せ、悲しい、怒り、恐怖、嫌悪、驚き、中立）と速度/ピッチ/音量設定。
• マルチスピーカー対話 — podcast タスク（タイニーのみ）：speaker_1: / speaker_2: 行を含むスクリプトを書き、各スピーカーに1つの参照オーディオを提供。

重要な制約：各機能は個別のタスクモードです。1回の呼び出しで感情+方言+音声デザインなどを自由に混在させることはできません。システムは他のタスクからの制御を拒否します。

独立リーダーボード結果

サードパーティの Artificial Analysis TTS リーダーボード（2026年10月）で：

• Controlled Voice — オープンウェイトモデルの中で1位（全体で13位）；すべてのモデルが同じ8つの音声をクローン。
• 発音ロバストネス — 全体で1位（93.2%の正しい発音スパン）；略語の展開（96.5%）と正確なシーケンスの保持（90.6%）でも1位。
• Provider Voice — オープンウェイトモデルの中で3位（全体で17位）。

新しいモデルが追加されるとランクは変わります。

はじめに

pip install -r requirements.txt（0.5b）または Docker イメージでインストール；タイニーは別の固定環境（Python 3.10.15、PyTorch 2.7.1+cu118）が必要です。Hugging Face または ModelScope からウェイトをダウンロード。テキスト正規化は FST 文法を使用し、pynini が必要です（オプション；スキップ可能）。

最小の0.5b呼び出し：

from ming_tts import MingTTS
model = MingTTS("inclusionAI/Ming-3.0-tts-0.5b")
model.synthesize(
    task="TTS",
    language_id="Chinese",
    text="傍晚的风从山口吹过来，远处的云慢慢染成了金色。",
    prompt_wav_path="data/voice_presets/voice_audio/lingguang.wav",
    prompt_text="诶，你今天有空吗？我们能不能聊聊这件事啊？",
    use_spk_emb=True,
    output_path="output/tts.wav",
)

タイニーは同様の API（MingTinyTTS.from_pretrained(...).generate(...)）を使用し、タスク名は小文字で、examples/one_click/ にワンクリックシェルスクリプトがあります。

タスクモード（「クックブック」）

README のクックブックは、生産ラインに従ってタスクを整理しています：誰が話すか（クローン、音声デザイン、内蔵 IP 音声）、どのように話すか（自由形式、感情、速度/ピッチ/音量）、言葉を超えて（パラ言語タグ）、どこで聞かれるか（多言語、方言）。各例は単一のタスクです；混在は拒否されます。完全な値リストは cookbooks/instruction_en.md / cookbooks/instructions.md にあり、エンドツーエンドのノートブックも付属しています。

パフォーマンスのハイライト（オープンベンチマーク）

• パラ言語： 2つのモデルで NVBench の6つの単一タグメトリクスすべてで SOTA；タイニーは英語の3つのマルチタグメトリクスすべてで SOTA。
• 方言： 0.5b は広東語 Base CER/ACC で SOTA；タイニーは四川語 Hard CER と Easy ACC で SOTA。
• 多言語： タイニーはドイツ語とスペイン語の WER で SOTA、フランス語 WER で2位、日本語 CER で2位タイ。
• 感情： タイニーは CV3 テキスト関連 Happy で SOTA タイ、CV3N の両方の Sad サブセットで SOTA；0.5b は CV3 テキスト関連 Angry で SOTA。
• 属性制御： 0.5b は平均精度とピッチでリード；タイニーは WER と話者類似度でリード。
• Podcast（タイニー）： CER 2.03%、cpSIM 0.561、UTMOS 2.12 — 1位、2位、2位。
• 音声デザイン（タイニー）： 平均精度（75.37%）、APS（85.10%）、DSD（79.90%）で2位。
• 中国語/英語： 0.5b の中国語 WER は3位；タイニーは中国語と英語の話者類似度で SOTA。

ランクはリストされたオープンソースモデル間でのみ計算されます；Seed-TTS と NVbench-GT は参照行であり、ランク付けされません。歴史的な Ming-omni-tts の結果が Ming-3.0-tts の値を上回る場合、README はそれを注記し、SOTA を主張しません。

ロードマップのステータス

リリース済み：両モデルのウェイトと推論コード、タイニーのベンチマーク、vLLM-Omni 加速推論。未リリース：テクニカルレポート。

注記

• README は目次に Limitations セクションと Usage Disclaimer をリストしていますが、提供された抜粋にはその内容が含まれていないため、要約できません。
• README はまた、デモビデオと、並べて聴くための音声例を含むブログへのリンクも提供しています。