High-Logic/Genie-TTS

解決する課題

GENIE は、高品質な音声合成 (TTS) を高速かつ効率的にするために設計された軽量の推論エンジンで、特に CPU パフォーマンスをターゲットにしています。元の GPT-SoVITS プロジェクトの重い依存関係を排除し、強力な GPU を必要とせずにほぼ瞬時の音声生成を可能にします。

仕組み

GPT-SoVITS V2 および V2ProPlus モデルに基づいて構築され、それらを最適化された ONNX 形式に変換します。そうすることで、公式の PyTorch および ONNX 実装と比較して、ランタイムサイズと初回推論レイテンシを削減します。また、キャラクターの音声の読み込み、感情クローン用の参照音声の設定、合成の実行のためのシンプルな Python API を提供します。

対象者

大規模な ML フレームワークのオーバーヘッドや専用の GPU ハードウェアを必要とせずに、高品質で多言語の TTS をアプリケーションに統合したい開発者やユーザー。

ハイライト

• CPU 最適化: 公式モデルと比較して、初回推論レイテンシが大幅に低減され、ランタイムのメモリフットプリントが小さくなります。
• 多言語サポート: 日本語、英語、中国語、韓国語をサポートしています。
• ** uma API**: シンプルな pip install と数行のコードで、事前定義またはカスタムキャラクターから音声を生成できます。
• モデル変換: 元の .pth および .ckpt GPT-SoVITS モデルを最適化された ONNX 形式に変換するための組み込みツールが含まれています。
• API サーバー: Web サービスとして簡単にデプロイできるように、組み込みの FastAPI サーバーが付属しています。