zeroweight-ai/ZeroTTS

解決する課題

ZeroTTS は、GPU なしの通常のノートパソコンでも、テキストから自然なベトナム語の音声を簡単に生成できるようにします。2 つの一般的な問題を解決します。ベトナム語を正しく読む TTS（声調、日付、数字、英語混在語を含む）を入手することと、生成しながら音声をストリーミングできるほど高速であることです。また、短い音声サンプルを提供することで特定の声を使用できますが、このオープンソースリリースでは、音声クローン手順自体はプラットフォームを通じて行われます。パッケージは、すでに取得した声のみを読み込むことができます。

仕組み

ZeroTTS は、テキストと「音声潜在変数」（話者の声の数値表現）を受け取り、音声を生成するニューラルネットワークを使用します。モデルはベトナム語の音声でトレーニングされ、ONNX Runtime を使用して CPU 上で実行するように最適化されているため、リアルタイムより高速に実行できます。音声を小さなチャンクでストリーミングするため、最初の音は約 70 ミリ秒で届きます。ベトナム語には、日付、数字、略語を音声の単語に展開する組み込みのテキスト正規化機能がありますが、英語のテキストを入力する場合はオフにできます。

パッケージには 8 つのプリセット音声が含まれており、プラットフォームから取得した .npz ファイル（またはその zip）を追加することで、独自の音声を追加できます。音声からこれらの潜在変数を作成する音声エンコーダーは公開されていないため、パッケージ内で完全に独自の音声をトレーニングすることはできません。

対象読者

ZeroTTS は、チャットボット、コンテンツ作成、アクセシビリティツールなどのアプリケーションでベトナム語 TTS を必要とする開発者や愛好家を対象としています。クラウドサービスや GPU なしでローカルに実行できる TTS を望み、低遅延と正確性を重視する場合に特に役立ちます。ブラウザデモは、完全にクライアント側で実行できることも示しています。

ハイライト

• 最先端の正確性：ベンチマークで次に優れたオープンソースのベトナム語 TTS よりも単語エラーが約 4 倍少ない。
• CPU でのリアルタイムパフォーマンス：リアルタイムの約 2 倍高速で、最初の音声チャンクが約 70 ミリ秒で届きます。
• ゼロショット音声クローン：3〜30 秒の参照音声から声をクローンできますが、クローンツール自体はプラットフォーム経由でのみ利用可能です。
• 純粋な Python パッケージで依存関係が最小限（生成に PyTorch は不要）。
• 日付、時刻、分数、頭字語を展開するベトナム語テキスト正規化機能を内蔵。
• メモリ制限のある CPU で合成時間を約半分に短縮するオプションの int8 量子化。
• Web UI とブラウザデモが含まれています。