chenpipi0807/ComfyUI-Index-TTS

何を解決するか

このプロジェクトは、高品質なテキスト to スピーチ（TTS）変換を可能にするComfyUI用のカスタムノード群を提供します。ユーザーは短い参照音声クリップから声の特徴をクローンし、言語、速度、感情に対して正確な制御を可能にします。これにより、ノードベースのワークフロー内で自然で多言語対応かつ感情表現豊かな合成音声を作成する難しさを解決します。

動作方法

このプロジェクトは、IndexTTSファミリーのモデル（バージョン1.5、2、2.5）をComfyUIノードとして実装しています。参照音声ファイルからスピーカー埋め込みを抽出し、入力テキストと組み合わせて音声を合成します。

主な技術的メカニズムは以下の通りです：

• マルチモデル対応：IndexTTS-2.5、2、1.5の統合。
• 感情制御：感情を制御する3つの方法：参照感情音声クリップの使用、8次元感情ベクトル（例：喜び、怒り、悲しみ）の調整、または感情のテキスト説明（Qwen感情モデルによって駆動）。
• 発音制御：バージョン2.5では、テキスト内に特定の音声マーク（中国語にはピンイン、英語にはCMUフォネム、日本語にはカナ）を直接挿入して発音を修正できます。
• 小説構文解析：ストーリー内の登場人物と語り手を自動認識し、異なる役割に異なる声を割り当てる専用の「小説テキスト構造」ノード。
• 音声クリーニング：出力からリバーブやノイズを除去する統合されたAudio Cleanerノード。

対象ユーザー

• コンテンツクリエイター：オーディオブック、ポッドキャスト、動画制作で一貫性があり高品質な声クローンが必要な人。
• ComfyUIユーザー：AIアーティストや開発者で、生成パイプラインにプロフェッショナルTTSを統合したい人。
• 物語作家：小説や脚本用に複数キャラクターの会話を生成したい人。

特徴

• 多言語間クローン：中国語の参照音声を使って英語、日本語、スペイン語、アラビア語などでの音声生成が可能（IndexTTS-2.5）。
• 正確な速度制御：品質を損なわずに音声速度を調整するネイティブな duration_factor。
• マルチロール対応：小説テキストを解析し、最大5人の個別キャラクター声と語り手の声を割り当てる専用ノード。
• 柔軟な感情調整：ベクトルベースのスライダーと自然言語による感情記述の両方をサポート。
• umaメモリ管理：モデルをメモリに常駐させるかどうかを切り替えるCache ControlノードでVRAM使用量を管理。