index-tts/index-tts

解決的問題

IndexTTS 是一個零樣本文本轉語音 (TTS) 系統，旨在僅使用單個參考音訊剪輯來克隆特定聲音。它解決了在不需要為每個新聲音進行大量訓練數據的情況下，實現多語言高保真、可控語音合成的需求。

工作原理

該系統使用自回歸模型來合成語音。它允許用戶提供一個用於音色（聲音的獨特品質）的參考音訊剪輯，並可以選擇性地提供單獨的情感參考音訊或情感向量來控制語音的情緒。最新版本 IndexTTS-2.5 支援中文、英文、日語、西班牙語和阿拉伯語，並透過音素（拼音、CMU 和日語假名）實現了對說話速度和發音的精細控制。

適用對象

該工具面向尋找支援多語言克隆、精確情感表達和生產級部署（透過 vLLM 支援）的工業級 TTS 系統的開發人員和研究人員。

亮點

• Zero-Shot Cloning: 從單個音訊樣本克隆聲音。
• 多語言支援: 支援中文、英文、日語、西班牙語和阿拉伯語。
• 精細控制: 提供對情感強度、說話速度 (0.5x 至 2.0x) 以及使用音素進行特定發音的控制。
• 靈活的情感輸入: 可以透過參考音訊、預定義的情感向量或從文本本身自動推導來控制情感。
• 生產就緒: 與 vLLM 相容，實現高效服務。