Zyphra/ZONOS2

何を解決するか

ZONOS2は、低遅延で自然なボイスクラウンティングと表現力豊かな音声合成を提供する高精細な音声合成（TTS）システムです。話者の個性を維持しつつ、感情、速度、品質を正確に制御できる人間らしい音声を生成するという課題に対処しています。

動作方法

ZONOS2はMixture-of-Experts（MoE）バックボーンを使用してDACトークンを生成します。推論時には、正規化されたUTF-8バイトとECAPA-TDNNスピーカー埋め込みを処理して音声を合成します。このシステムは3段階のサポートレベルで多数の言語をカバーし、Mini-SGLangに基づく高性能な推論サーバー、およびCPUとクロスプラットフォームでの使用を想定したggml実装を含む、複数のモデル実行方法を提供しています。

対象ユーザー

高品質で多言語対応のTTSが必要で、高度なボイスクラウンティング機能とリアルタイムアプリケーションでの感情的なプロソディの微調整が可能な開発者や研究者向けです。

主な特徴

• 大規模な学習データセット: 600万時間以上の多言語音声データで訓練済み。
• 高度なボイスクラウンティング: リファレンス音声ファイルからの高精細なクラウンティングを実現。
• 感情制御: 話者の個性を変えることなく、感情（喜び、悲しみ、怒り、驚き）や感情の価値・覚醒軸に沿った方向ベクトルを加算することで、音声の感情を微調整可能。
• 広範な言語サポート: 英語、中国語（簡体）、日本語などを含む数十の言語を3段階のサポートレベルで対応。
• 柔軟なデプロイ: オフライン推論用のPython API、Web UI付き専用TTSサーバー、OpenAI互換APIエンドポイントを提供。