chenpipi0807/ComfyUI-Index-TTS

解決的問題

本專案為 ComfyUI 提供一組自訂節點，實現高品質的語音合成（TTS）。使用者可從一段短暫的參考音訊中克隆語音特徵，並對語言、語速與情感進行精確控制，解決在節點式工作流程中創造自然、多語系且具情感表達的合成語音之難題。

工作原理

本專案將 IndexTTS 系列模型（1.5、2 與 2.5 版本）實作為 ComfyUI 節點。透過參考音訊檔提取發言者嵌入，並結合輸入文字進行語音合成。

主要技術機制包括：

• 多模型支援：整合 IndexTTS-2.5、2 與 1.5。
• 情感控制：三種情感引導方式：使用參考情感音訊片段、調整 8 維情感向量（如快樂、憤怒、悲傷），或提供情感的文本描述（由 Qwen 情感模型驅動）。
• 發音控制：在 2.5 版本中，使用者可直接於文字中插入特定音標標記（中文用拼音，英文用 CMU 音素，日文用片假名）以修正發音。
• 小說解析：專用的「小說文字結構」節點，可自動識別故事中的角色與敘述者，並為不同角色分配不同語音。
• 音訊清理：整合的 Audio Cleaner 節點，用於去除輸出中的混響與雜訊。

適用對象

• 內容創作者：製作有聲書、播客或影片，需要一致且高品質語音克隆的人。
• ComfyUI 使用者：AI 藝術家與開發者，希望在生成流程中整合專業級 TTS 的人。
• 故事講述者：希望為小說或劇本生成多角色對話的使用者。

核心亮點

• 跨語系克隆：使用中文參考音訊生成英文、日文、西班牙文或阿拉伯文語音（IndexTTS-2.5）。
• 精確速度控制：原生支援 duration_factor 調整語速，不損失音質。
• 多角色支援：專用節點用於解析小說文字，支援最多五位不同角色語音及一位敘述者。
• 靈活情感調節：支援基於向量的滑桿與自然語言情感描述兩種方式。
• uma 記憶體管理：提供 Cache Control 節點，可切換模型是否常駐記憶體，以管理 VRAM 使用量。