OpenMOSS/MOSS-TTS

何を解決するか

MOSS-TTS ファミリーは、複雑な現実世界の音声制作に対応するように設計されたオープンソースの音声・音響生成モデルのコレクションです。単一の TTS モデルの限界を克服し、高精細な長文音声、表現豊かなマルチスピーカー対話、テキストプロンプトからのゼロショット音声設計、低レイテンシのリアルタイムインタラクション、環境音効果の生成を専門的に処理するツールを提供します。

仕組み

本プロジェクトは、安定性、速度、レイテンシのバランスを取るために3つの主要なアーキテクチャを使用しています：

• MossTTSDelay: ディレイパターンスケジューリングを用いたマルチヘッド並列 RVQ 予測を採用し、長文コンテキストの安定性とプロダクション対応性を最適化しています。
• MossTTSLocal: 時間同期 RVQ ブロックと深さ変換器を採用し、軽量な柔軟性とストリーミング性能に焦点を当てています。
• MossTTSRealtime: テキストとユーザーの音響情報を両方からマルチターンコンテキストをモデル化する能力指向設計で、音声エージェント向けの低レイテンシストリーミング音声を可能にしています。

さらに、MOSS-SoundEffect-v2.0 モデルには、DiT バックボーン + フローマッチングを採用し、高品質なバイリンガル音効を生成しています。

対象ユーザー

このモデルファミリーは、以下の開発者やクリエイター向けです：

• コンテンツクリエイター：長文ナレーション、ポッドキャスト、吹き替えに使用。
• AI音声エージェント：リアルタイムで低レイテンシのインタラクティブ音声システムを構築する際。
• ゲーム・映画開発者：環境音効果や多様なキャラクター音声の生成に使用。
• 研究者：音声合成および音声生成の再現可能な参照が必要な場合。

主な特徴

• 多様なモデルセット：汎用 TTS、対話（MOSS-TTSD）、音声設計（MOSS-VoiceGenerator）、リアルタイムエージェント（MOSS-TTS-Realtime）、音効（MOSS-SoundEffect）に特化したモデルを含む。
• 高精細：MOSS-Audio-Tokenizer-v2 を通じて 48 kHz ステレオ出力をサポート。
• 極めて柔軟：約 100M（Nano）から 8B パラメータまでのさまざまなモデルサイズを提供。
• 広範な言語対応：MOSS-TTS-v1.5 は 31 言語をサポート。
• デプロイ準備完了：llama.cpp および ONNX Runtime を通じた torch 無し推論をサポートし、SGLang-Omni や vLLM-Omni などの高速バックエンドと統合済み。