KoljaB/RealtimeTTS

何を解決するか

RealtimeTTSは、通常の音声合成（TTS）システムに伴う高遅延を解消し、会話型AIアプリケーションに適したものです。開発者が文字列、ジェネレータ、およびリアルタイムのLLMトークンストリームをリアルタイムで音声に変換できるようにし、テキスト生成と音声出力の間のギャップを短縮します。

動作方法

このライブラリは、膨大なTTSエンジンのマトリクスを柔軟にラップするものです。テキスト入力（LLMからのストリーミングチャンクを含む）を処理し、選択されたエンジンに供給して音声を生成します。ローカル再生、他のプロセスへの音声チャンクのストリーミング、WAVファイルへの出力のいずれもサポートしています。遅延を最小限に抑えるために、文分割などの技術を活用し、GPUまたはCPUで動作可能で最適化されたネイティブランタイムを備えた高性能エンジン（例：Qwen）もサポートしています。

対象ユーザー

Pythonで音声対応AIエージェント、会話型ボット、および動的テキストソースからの低遅延・高品質な音声合成を必要とするアプリケーションを開発する開発者向けに設計されています。

主な特徴

• 広範なエンジン対応：ローカルシステム音声、クラウドAPI（OpenAI、Azure、ElevenLabs）、ローカルニューラルモデル（Qwen、Coqui、Piper）と統合可能。
• 低遅延：LLM出力をストリーミングするための最適化により、音声の発生を高速化。
• ボイスクローン：Qwenなどの互換エンジンを介してx-vectorおよびICLボイスクローンをサポート。
• 柔軟な出力：ローカルスピーカー再生、WAVファイルエクスポート、ミュート合成をサポート。
• 耐障害性：主エンジンが失敗した場合でも合成を継続できるフォールバックエンジン機能を備えています。