Edge0-AI/Audio8_TTS

解決する課題

Audio8 TTSは、ゼロショット音声クローンが可能なコンパクトで効率的なモデルを提供します。ユーザーは、特定の声でモデルを事前に学習させる必要なく、短い音声サンプルのみを使用して特定の声を模倣し、テキストから自然な音声を生成できます。

仕組み

このプロジェクトは、2つの主要なモデルファミリーを提供します。1つは高品質な多言語音声合成に焦点を当てた0.6Bパラメータモデル、もう1つは極めて高い移植性とCPUベースの推論を目的とした0.1Bパラメータモデルです。ユーザーはテキストプロンプトを入力し、必要に応じて参照音声ファイルを指定することでターゲットの声をクローンできます。システムは、CUDA対応GPUでの標準的なPython推論に加え、ONNX runtimesやSGLang Omniを通じた最適化されたデプロイをサポートしており、スケーラブルでAPI互換性のあるサービングが可能です。

対象ユーザー

このプロジェクトは、モデルサイズ、パフォーマンス、およびオンザフライでの音声クローン能力が重要な要件となるアプリケーションに、テキスト読み上げ機能を統合する必要がある開発者や研究者を対象としています。特に、多言語サポートが必要な場合や、制約のあるハードウェア上での軽量なデプロイが必要な場合に非常に有用です。

ハイライト

• ゼロショット音声クローン：短い参照録音のみを使用して、ターゲットの声で音声を生成します。
• 多言語サポート：0.6Bモデルは、英語、中国語、日本語、ドイツ語などを含む23言語をサポートしています。
• 柔軟なデプロイ：高性能なGPU推論から、フットプリントを抑えたCPU最適化済みのONNX runtimesまで、幅広い選択肢があります。
• スケーラブルなサービング：SGLang Omniのサポートを含み、動的バッチ処理やOpenAI互換APIなどの機能を提供します。
• ファインチューニング対応：特定のニーズに合わせてモデルをさらに適応させるための教師ありファインチューニング用ツールを提供します。