shivammehta25/Matcha-TTS
[ICASSP 2024] 🍵 Matcha-TTS: A fast TTS architecture with conditional flow matching
What it solves
Matcha-TTS は ODE ベースの音声合成における速度と効率の課題を解決します。高速に高度に自然な音声を生成しながら、コンパクトなメモリフットプリントを維持する非自己回帰型ニューラルテキスト音声合成(TTS)システムを提供します。
How it works
システムは条件付きフローマッチング(rectified flows に類似)を利用して合成プロセスを加速します。確率的モデルであり、ONNX にエクスポートして最適化推論が可能です。メルスペクトログラムとして単体で波形を生成するか、グラフ内にボコーダを組み込んでエンドツーエンド音声を生成できます。
Who it’s for
このプロジェクトは、カスタムデータセット(例:LJ Speech)での高速かつ高品質な TTS エンジンの訓練と、CLI、Gradio アプリ、ONNX runtime を通じたデプロイが必要な音声合成の開発者・研究者向けに設計されています。
Highlights
- Fast Synthesis: Optimized for speed using conditional flow matching.
- ONNX Support: Ability to export checkpoints to ONNX for efficient cross-platform inference.
- Custom Training: Full pipeline provided for training on personal datasets, including normalization statistics generation.
- Flexible Inference: Supports adjustable speaking rate, sampling temperature, and ODE solver steps via CLI.