HojoAI/Hojo-TTS-Light

Hojo-TTS-Light is a lightweight speech generation model series developed by HojoAI, currently comprising a 0.04B and a 0.08B model.

何を解決するか

Hojo-TTS-Light は、低消費電力のハードウェア上で動作可能な高品質な双語(中国語と英語)音声合成を提供することを目的としています。通常、高度なTTSモデルに伴う高い計算リソース要件を克服し、CPU、一般的なGPU、および組み込みエッジデバイス上で効率的に展開できるようにします。

動作方法

このプロジェクトは、音声トークナイザー(18Mエンコーダーと30Mデコーダーから構成)に基づくトークン-LMフレームワークを使用しています。2つのモデルサイズを提供:15の組み込み音声を持つ40Mパラメータモデルと、数秒の音声から音声クローンを可能にする80Mパラメータモデルです。高い効率性を確保するために、モデルは最適化されたONNXファイルとして提供され、KVキャッシュのマージが行われており、高速なCPUベースの合成が可能になります。

対象ユーザー

エッジデバイスをターゲットとするアプリケーションや、大規模モデルに必要な高価なGPUを避けたい開発者や企業にとって最適です。

特徴

  • 超軽量: コアモデルは40Mおよび80Mパラメータで、高音質(DNSMOS > 4.0)を維持します。
  • ネイティブな双語対応: ブランチの切り替えなしに中国語と英語をスムーズに処理できます。
  • デバイス内対応: ONNXパッケージによりCPUおよび組み込みデバイス向けに最適化されています。
  • 発音補正: ピンインを使用して、多音字や固有名詞の誤発音を手動で修正できます。
  • 音声クローン: 80Mモデルは、短い音声サンプルを使用して迅速に音声クローンが可能です。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト