andimarafioti/faster-qwen3-tts

何を解決するか

Faster Qwen3-TTS は、標準の Qwen3-TTS モデルの高遅延と遅い推論速度を解決します。リアルタイムのテキストから音声への変換を可能にし、最初の音声までの時間（TTFA）を大幅に短縮し、ストリーミングおよび非ストリーミング音声生成のリアルタイム要因（RTF）を向上させます。

動作方法

このプロジェクトは torch.cuda.CUDAGraph を使用して実行グラフをキャプチャすることで推論を最適化し、Flash Attention や vLLM、Triton などの複雑な依存関係を回避します。主に以下の2つのバックエンドをサポートしています：

• Torch/CUDA-graph：NVIDIA GPU向けのデフォルトの高性能パス。
• GGML：qwentts.cpp ランタイム用の実験的アダプタで、量子化推論を可能にします。

ストリーミング時の音声品質を維持するために、25フレームの左側コンテキストを持つスライディングウィンドウを使用して音声チャンクをデコードし、境界アーティファクトを回避します。また、In-Context Learning（ICL）モードでは、生成音声の開始時に発音の混入を防ぐために、参照音声に自動的に静音を追加します。

対象ユーザー

• リアルタイムAI音声アプリケーションを開発する開発者。
• NVIDIA GPU（Jetson AGX Orinを含む）上で低遅延で Qwen3-TTS を実行したいユーザー。
• OpenWebUI などのツールと統合可能な OpenAI互換の TTS API を求めているユーザー。

主な特徴

• 大幅な高速化：さまざまな NVIDIA GPU で最大 9.8x の RTF 向上と 6.5x の TTFA 減少を達成。
• 柔軟な生成モード：x-vector または ICL を通じたボイスクラウンニング、事前定義されたスピーカーID（CustomVoice）、インストラクションベースのボイス設計をサポート。
• ストリーミング対応：生成中に音声チャンクを出力し、即座に再生可能。
• OpenAI互換性：POST /v1/audio/speech コントラクトに準拠した API サーバーを含む。
• 複数のバックエンド：ネイティブ PyTorch パスと実験的な GGML バックエンドの両方を提供。