shivammehta25/Matcha-TTS

[ICASSP 2024] 🍵 Matcha-TTS: A fast TTS architecture with conditional flow matching

What it solves

Matcha-TTS 解決了基於 ODE 的語音合成在速度與效率上的挑戰。它提供了一個非自回歸的神經文字轉語音(TTS)系統,能快速產生高度自然的語音,同時保持緊湊的記憶體佔用。

How it works

系統利用條件流匹配(類似於 rectified flows)加速合成過程。它是一個機率模型,可匯出為 ONNX 以進行最佳化推論,允許將波形產生為獨立的 mel‑spectrogram,或在圖中嵌入聲碼器時直接產生端到端音訊。

Who it’s for

此專案設計給語音合成領域的開發者與研究者,需求快速且高品質的 TTS 引擎,能在自訂資料集(如 LJ Speech)上訓練,並可透過 CLI、Gradio 應用或 ONNX runtime 部署。

Highlights

  • Fast Synthesis: Optimized for speed using conditional flow matching.
  • ONNX Support: Ability to export checkpoints to ONNX for efficient cross-platform inference.
  • Custom Training: Full pipeline provided for training on personal datasets, including normalization statistics generation.
  • Flexible Inference: Supports adjustable speaking rate, sampling temperature, and ODE solver steps via CLI.