OpenMOSS/MOSS-TTS-Nano

何を解決するか

MOSS-TTS-Nanoは、リアルタイム製品向けに高品質で多言語対応の音声生成を可能にするように設計されています。通常のTTSモデルに伴う高コスト・高レイテンシの問題を解決するために、0.1Bパラメータの極小サイズを実現し、GPUを必要とせずにCPU上で効率的に動作します。

動作方法

このプロジェクトは、オーディオトークナイザーと**大規模言語モデル（LLM）**からなる純粋な自己回帰パイプラインを使用しています。

• MOSS-Audio-Tokenizer-Nano: Catアーキテクチャ（因果的オーディオトークナイザー＋Transformer）に基づく、CNNを排除した軽量トークナイザー（20Mパラメータ）。RVQを用いて48 kHzステレオ音声を12.5 Hzのトークンストリームに圧縮し、16個のコードブックを使用します。
• TTSパイプライン: LLMがオーディオトークンを生成し、その後高精細な48 kHz、2チャンネル音声にデコードされます。
• デプロイオプション: 標準的なPyTorch推論、非常に最適化されたONNX CPU版（PyTorch依存性を削除し、効率を約2倍向上）、さらにはAndroid ONNX Runtime統合もサポートしています。

対象ユーザー

• 低レイテンシを必要とするリアルタイム音声アプリ開発者。
• 消費者向けハードウェア（例：MacBook Air M4）でCPUのみで高品質TTSをローカル実行したいユーザー。
• 軽量なウェブサービスやモバイルアプリに音声生成を統合するプロダクトチーム。

特徴

• 極めて軽量: メインモデルはわずか0.1Bパラメータ。
• CPUネイティブ: 4コアCPU上でストリーミング生成が可能。
• 多言語対応: 中国語、英語、ドイツ語、スペイン語、フランス語、日本語など20言語をサポート。
• ボイスクラーニング: リファレンス音声プロンプトを使用したゼロショットボイスクラーニングをサポート。
• 高精細: 48 kHzステレオ出力がネイティブで可能。
• 柔軟なデプロイ: CLI、FastAPIウェブデモ、およびONNXによるスタンドアロンCPU/Android利用に対応。