pnnbao97/VieNeu-TTS

何を解決するか

VieNeu-TTS は、ベトナム語に特化した高精細で自然な音声合成（TTS）を提供し、英語とベトナム語の混合使用（コードスイッチング）にも対応しています。低遅延のオンデバイス音声合成を実現し、マルチスプーカーの会話や、膨大な計算リソースを必要としない即時音声クローン機能を実現します。

動作方法

本プロジェクトは複数のモデルアーキテクチャ（v1、v2、v3 Turbo）を提供しています。最新のv3 Turboバージョンは、48 kHzの高精細音声出力と専用のフォネミザを備えた、ゼロから構築されたアーキテクチャを使用しています。異なるバックエンドをサポート：高速なCPU推論とストリーミングに最適なtorch非依存のONNX Runtime、およびGPUでの高スループットバッチ生成に適したPyTorchエンジン。また、音声クローン用にリファレンス音声クリップをクリーニングするノイズ除去パイプラインも搭載しています。

対象ユーザー

• 開発者：インタラクティブなベトナム語AIアプリケーションやリアルタイム音声アシスタントを開発する方。
• コンテンツクリエイター：ポッドキャストや会話シーンに自然なベトナム語ナレーションが必要な方。
• エッジデバイスエンジニア：CPUまたはApple Silicon上で効率的に動作する軽量でオフライン対応のTTSソリューションを探している方。

主な特徴

• バイリンガル対応：ベトナム語と英語の間でスムーズな切り替えが可能。
• 即時音声クローン：3〜8秒の音声クリップ1つで音声をクローン可能。
• 高精細：v3 Turboは48 kHz音声をサポートし、実験的な感情表現（例：笑い、ため息）も可能。
• 柔軟なデプロイ：Python SDK、Web UI、または高性能なDockerベースAPIサーバーとして利用可能。
• 最適化されたパフォーマンス：リアルタイム対話に適したフレーム単位ストリーミングと、大量合成に適したバッチ生成をサポート。