inclusionAI/Ming-3.0-tts

Ming-3.0-tts is an open-source TTS model family with 0.5B dense and 7.9B-A1.3B MoE variants, supporting multilingual speech, voice cloning, voice design, and natural-language control.

그것은 무엇인가

Ming-3.0-tts는 텍스트를 음성으로 변환하는 텍스트 음성 변환 시스템입니다. 주요 특징은 제어입니다: 누가 말하는지(음성 복제, 설명에서 설계, 또는 내장 음성 선택), 어떻게 말하는지(감정, 속도, 피치, 볼륨, 또는 "따뜻하고 친밀한 이야기하는 목소리로 말해"와 같은 자연어 지시), 그리고 단어를 넘어서는 것(웃음, 한숨, 기침 등의 인라인 태그)을 조종할 수 있습니다. 또한 여러 언어와 방언을 지원하며, 더 큰 모델에서는 스크립트에서 다중 화자 대화를 생성할 수 있습니다.

두 모델

모델	아키텍처	크기	비고
`Ming-3.0-tts-0.5b`	밀집(모든 출력에 모든 매개변수 사용)	5억	실행이 더 간단; 주요 빠른 시작 경로
`Ming-3.0-tts-tiny`	MoE(전문가 혼합 — 토큰당 일부 매개변수만 활성화)	총 7.9B, 활성 1.3B	Ling V3 백본 기반; `podcast` 다중 화자 작업 추가

둘 다 동일한 생성 프레임워크를 공유합니다: 텍스트와 작업별 제어 토큰이 언어 모델에 입력되고, DiT(확산 트랜스포머) 패치 헤드와 오디오 토크나이저를 구동하여 음성을 생성합니다.

주요 기능

음성 생성 — 세 가지 방법: 짧은 오디오 클립에서 참조 음성 복제, 텍스트 설명에서 음성 설계(예: "성숙하고 안정된 남성 다큐멘터리 내레이터"), 또는 100개 이상의 중국어 및 5개의 영어 내장 음성 중 선택.
자유 형식 제어 — 원하는 발성을 자연어로 설명; 고정 매개변수 목록 없음.
준언어 제어 — 14개의 인라인 태그([Laughter], [Sigh], [Cough], [Surprise-ah] 등)를 문장의 어디에나 배치 가능, 중국어 또는 영어.
언어 및 방언 — 중국어, 영어, 독일어, 스페인어, 프랑스어, 한국어, 일본어, 그리고 쓰촨어와 광둥어.
감정 및 속성 — 명시적 감정 레이블(행복, 슬픔, 분노, 두려움, 혐오, 놀람, 중립) 및 속도/피치/볼륨 설정.
다중 화자 대화 — podcast 작업(tiny만): speaker_1: / speaker_2: 줄이 있는 스크립트를 작성하고 각 화자에 대해 하나의 참조 오디오를 제공.

중요한 제약: 각 기능은 별도의 작업 모드입니다. 한 번의 호출에서 감정 + 방언 + 음성 설계 등을 자유롭게 혼합할 수 없습니다. 시스템은 다른 작업의 제어를 거부합니다.

독립 리더보드 결과

타사 Artificial Analysis TTS 리더보드(2026년 10월)에서:

Controlled Voice — 오픈 가중치 모델 중 1위(전체 13위); 모든 모델이 동일한 8개 음성을 복제.
발음 견고성 — 전체 1위(93.2% 올바른 발음 스팬); 약어 확장(96.5%) 및 정확한 시퀀스 보존(90.6%)에서도 1위.
Provider Voice — 오픈 가중치 모델 중 3위(전체 17위).

새 모델이 추가되면 순위가 변경됩니다.

시작하기

pip install -r requirements.txt(0.5b) 또는 Docker 이미지로 설치; tiny는 별도의 고정 환경(Python 3.10.15, PyTorch 2.7.1+cu118)이 필요합니다. Hugging Face 또는 ModelScope에서 가중치를 다운로드하세요. 텍스트 정규화는 FST 문법을 사용하며 pynini가 필요합니다(선택 사항; 건너뛸 수 있음).

최소 0.5b 호출:

from ming_tts import MingTTS
model = MingTTS("inclusionAI/Ming-3.0-tts-0.5b")
model.synthesize(
    task="TTS",
    language_id="Chinese",
    text="傍晚的风从山口吹过来，远处的云慢慢染成了金色。",
    prompt_wav_path="data/voice_presets/voice_audio/lingguang.wav",
    prompt_text="诶，你今天有空吗？我们能不能聊聊这件事啊？",
    use_spk_emb=True,
    output_path="output/tts.wav",
)

Tiny는 유사한 API(MingTinyTTS.from_pretrained(...).generate(...))를 사용하며 작업 이름은 소문자이고, examples/one_click/에 원클릭 셸 스크립트가 있습니다.

작업 모드("요리책")

README의 요리책은 생산 라인에 따라 작업을 구성합니다: 누가 말하는가(복제, 음성 설계, 내장 IP 음성), 어떻게 말하는가(자유 형식, 감정, 속도/피치/볼륨), 단어를 넘어서(준언어 태그), 어디서 들리는가(다국어, 방언). 각 예제는 단일 작업입니다; 혼합은 거부됩니다. 전체 값 목록은 cookbooks/instruction_en.md / cookbooks/instructions.md에 있으며, 엔드투엔드 노트북도 포함되어 있습니다.

성능 하이라이트(오픈 벤치마크)

준언어: 두 모델 모두 NVBench의 6개 단일 태그 메트릭에서 SOTA; tiny는 영어의 3개 다중 태그 메트릭 모두에서 SOTA.
방언: 0.5b는 광둥어 Base CER/ACC에서 SOTA; tiny는 쓰촨어 Hard CER 및 Easy ACC에서 SOTA.
다국어: tiny는 독일어 및 스페인어 WER에서 SOTA, 프랑스어 WER에서 2위, 일본어 CER에서 공동 2위.
감정: tiny는 CV3 텍스트 관련 Happy에서 SOTA 동률, CV3N의 두 Sad 하위 집합 모두에서 SOTA; 0.5b는 CV3 텍스트 관련 Angry에서 SOTA.
속성 제어: 0.5b는 평균 정확도와 피치에서 선두; tiny는 WER 및 화자 유사도에서 선두.
Podcast(tiny): CER 2.03%, cpSIM 0.561, UTMOS 2.12 — 1위, 2위, 2위.
음성 설계(tiny): 평균 정확도(75.37%), APS(85.10%), DSD(79.90%)에서 2위.
중국어/영어: 0.5b 중국어 WER 3위; tiny는 중국어 및 영어 화자 유사도에서 SOTA.

순위는 나열된 오픈 소스 모델 간에만 계산됩니다; Seed-TTS 및 NVbench-GT는 참조 행이며 순위가 매겨지지 않습니다. 역사적 Ming-omni-tts 결과가 Ming-3.0-tts 값을 능가하는 경우, README는 이를 주목하고 SOTA를 주장하지 않습니다.

로드맵 상태

출시됨: 두 모델의 가중치 및 추론 코드, tiny 벤치마크, vLLM-Omni 가속 추론. 아직 출시되지 않음: 기술 보고서.

참고 사항

README는 목차에 Limitations 섹션과 Usage Disclaimer를 나열하지만, 제공된 발췌문에는 내용이 포함되어 있지 않아 요약할 수 없습니다.
README는 또한 데모 비디오와 나란히 듣기 위한 오디오 예제가 있는 블로그에 대한 링크를 제공합니다.