shivammehta25/Matcha-TTS

[ICASSP 2024] 🍵 Matcha-TTS: A fast TTS architecture with conditional flow matching

What it solves

Matcha-TTS 解决了基于 ODE 的语音合成在速度和效率上的挑战。它提供了一个非自回归的神经文字转语音(TTS)系统,能够快速生成高度自然的语音,同时保持紧凑的内存占用。

How it works

系统利用条件流匹配(类似于 rectified flows)加速合成过程。它是一个概率模型,可导出为 ONNX 以进行优化推理,允许将波形生成作为独立的 mel‑spectrogram,或在图中嵌入声码器时直接生成端到端音频。

Who it’s for

该项目面向语音合成领域的开发者和研究者,需要一个快速、高质量的 TTS 引擎,能够在自定义数据集(如 LJ Speech)上训练,并通过 CLI、Gradio 应用或 ONNX runtime 部署。

Highlights

  • Fast Synthesis: Optimized for speed using conditional flow matching.
  • ONNX Support: Ability to export checkpoints to ONNX for efficient cross-platform inference.
  • Custom Training: Full pipeline provided for training on personal datasets, including normalization statistics generation.
  • Flexible Inference: Supports adjustable speaking rate, sampling temperature, and ODE solver steps via CLI.