pnnbao97/VieNeu-TTS

解決する課題

VieNeu-TTSは、ベトナム語に特化して最適化された、高忠実度かつ低遅延のテキスト読み上げ（TTS）システムを提供します。CPUやミドルレンジGPUを含むコンシューマー向けハードウェア上で効率的に動作し、即時音声クローンとリアルタイムストリーミングをサポートする、自然なベトナム語音声合成のニーズに応えます。

仕組み

本プロジェクトは、10,000時間以上のバイリンガルデータで学習されたカスタムアーキテクチャ (v3 Turbo) を使用しています。フローマッチングモデル、専用のオーディオトークナイザー (MOSS-Audio-Tokenizer-Nano)、およびフォネマイザー (sea-g2p) を採用しています。デプロイメントに関しては、最大スループットを実現するCUDAグラフを備えたGPUアクセラレーション用のPyTorchエンジンと、CPU実行用のtorch不要なONNX Runtimeパスという複数のバックエンドを提供します。また、エッジデバイス向けに、音質を一部犠牲にして速度を大幅に向上させたv3 Nanoバージョンも含まれています。

対象ユーザー

• 開発者: ベトナム語のAIエージェント、音声アシスタント、アクセシビリティツールを構築する方。
• コンテンツクリエイター: 動画、ポッドキャスト、オーディオブック用に自然なベトナム語のナレーションが必要な方。
• エッジコンピューティングエンジニア: 低電力のARMボードや古いノートPCでTTSをデプロイする方。

ハイライト

• 極めて高いパフォーマンス: リアルタイムストリーミングを実現し、最初の音声出力まで約115ms、コンシューマー向けGPUでのリアルタイム係数 (RTF) は0.01〜0.02という低さを誇ります。
• 即時音声クローン: 3〜8秒の参照クリップから自動ノイズ除去機能付きで音声をクローン可能。
• OpenAI互換API: OpenAI TTSエンドポイントのドロップイン代替品として、PipecatやLiveKitなどのSDKと互換性があります。
• 高忠実度: 48 kHzの音声出力をサポートし、ベトナムの北部、中部、南部の各地域をカバーする25種類のプリセット音声を内蔵しています。
• 実験的な感情キュー: [cười] (笑い) や [thở dài] (ため息) といったインラインタグをサポートし、非言語的な表現を追加できます。