kyutai-labs/pocket-tts

何を解決するか

Pocket TTS は、高価な GPU や外部の Web API を必要としない、軽量な音声合成（TTS）アプリケーションです。ユーザーはローカルの CPU 上でテキストから高品質な音声を直接生成でき、高速でプライベート、かつ効率的な音声生成を実現します。

動作方法

このプロジェクトは、CPU 実行に最適化された小さなモデル（1億パラメータ）を使用しています。音声ストリーミングと音声クローン機能をサポートしており、短い音声サンプル（wav ファイル）を用いて音声埋め込み（音声状態）を作成し、その特定の声で音声を生成します。英語、フランス語、ドイツ語、ポルトガル語、イタリア語、スペイン語の6つの主要なヨーロッパ言語をサポートしています。

対象ユーザー

GPU ハードウェアを必要とせずに TTS 機能をアプリケーションに統合したい開発者、およびローカル音声生成用のシンプルな CLI や Web インターフェースを求めるユーザー向けに設計されています。

特徴

• CPU 最適化: CPU 上で効率的に動作し、MacBook Air M4 で 2 コアのみで最大 6 倍のリアルタイム速度を達成。
• 低遅延: およそ 200ms で最初の音声チャンクを提供。
• 音声クローン: plain wav ファイルまたは事前に計算された safetensors 埋め込みから音声をクローン可能。
• 多言語対応: 6つの主要なヨーロッパ言語をサポート。
• 柔軟なデプロイ: Python API、CLI、ローカル HTTP サーバーを提供。コミュニティによる WebAssembly、Rust、C++、C# へのポートも存在。