sipeter/CloneTTS

何を解決するか

CloneTTS は Android 向けのオフライン、ネイティブな音声合成（TTS）エンジンであり、非常に短い音声サンプルを使用して特定の声をクローンできます。インターネット接続の必要がなく、データが外部サーバーに送信されることもないので、本や長文の読み上げにプライベートでローカルな代替手段を提供します。

動作方法

このエンジンは、ZipVoice を通じたゼロショット音声クローン音響モデルと、sherpa-onnx を通じた効率的な C++ 推論パイプラインを使用しています。ユーザーは 1～3 秒の音声クリップとその正確な字幕を提供することで、カスタム音声を作成できます。このアプリはシステムワイドな TTS エンジンとして登録可能で、Legado や Moon+ Reader などの外部リーダーアプリとの統合にローカル HTTP API を通じてアクセスできます。

対象ユーザー

読書アプリ向けに高品質でカスタム音声合成を希望する Android ユーザー、特にプライバシーとオフライン機能を重視するユーザー。

特徴

• オフライン音声クローン: たった 1～3 秒の発話からカスタム音声を作成可能。
• NPU 加速: フラッグシップ Qualcomm Snapdragon デバイス（8 Gen 2/3/Elite）でのハードウェア加速をサポートし、より高速な合成と低発熱を実現。
• システム統合: ネイティブ Android TTS エンジンとして動作可能、またはマルチロールリーダー用にローカル HTTP API を通じて利用可能。
• カスタマイズ: プレーンテキストまたは正規表現による発音補正ルールと、より自然な間隔を実現する文分割の調整が可能。
• パフォーマンスモニタリング: 組み込みのベンチマークとリアルタイムの RTF（リアルタイム係数）モニタリングにより、推論遅延を追跡可能。