andimarafioti/faster-qwen3-tts

解決する問題

Faster Qwen3-TTS は、元の Qwen3-TTS モデルの高レイテンシと低速な推論速度に対処します。リアルタイムで高品質なテキスト読み上げ生成を可能にし、初回音声までの時間（TTFA）を大幅に短縮し、リアルタイム係数（RTF）を向上させるため、インタラクティブなアプリケーションに適しています。

仕組み

このプロジェクトは、最適化された推論のための2つの主要なバックエンドを提供します：

• Torch バックエンド：NVIDIA CUDA と AMD ROCm で torch.cuda.CUDAGraph を利用して実行グラフをキャプチャおよびリプレイし、オーバーヘッドを大幅に削減します。
• GGML バックエンド：qwentts.cpp ランタイム用の実験的アダプタで、CUDA、Apple Silicon Metal、AMD HIP をサポートし、Mac を含むより広範囲のハードウェアで効率的な実行を可能にします。

ストリーミング出力をサポートし、生成中に25フレームの左コンテキストを持つスライディングウィンドウを使用してオーディオチャンクを生成し、境界アーティファクトを防ぎます。また、ICL（インコンテキストラーニング）音素アーティファクトの修正を実装し、デフォルトで参照オーディオに無音を追加します。

対象ユーザー

• 開発者：リアルタイム AI 音声エージェントやインタラクティブな TTS システムを構築する方。
• ハードウェア愛好家：NVIDIA GPU、AMD GPU、または Apple Silicon Mac で Qwen3-TTS を実行したい方。
• 研究者：TTS モデルの推論最適化技術を比較する方。

ハイライト

• 大幅な高速化：さまざまな GPU（例：RTX 4090、H100）で最大 9.8 倍の RTF 向上と 6.5 倍の TTFA 削減を達成。
• 柔軟な音声オプション：音声クローニング（ICL および x-vector）、事前定義された CustomVoice ID、および指示ベースの VoiceDesign をサポート。
• マルチプラットフォーム対応：CUDA、ROCm、Metal（Apple Silicon）、GGML をネイティブサポート。
• 開発者ツール：OpenAI 互換の API サーバー、ライブメトリクス用の最小限の Web UI、およびクイック生成用の CLI を含む。