fishaudio/fish-speech

Fish Speech – 表現力豊かな多言語テキスト読み上げ

概要 – 大規模言語モデルとニューラル TTS（VITS スタイル）を組み合わせたオープンソースの音声合成システムで、高品質で表現力豊かな複数話者オーディオを生成します。2つのフラッグシップモデルを提供します：

• Drama 3（35 B パラメータ、トークンあたりアクティブ 3 B）– 最新モデルで、長編・複数キャラクターシーン、その場での編集、強い感情のニュアンスに最適化されています。
• S2-Pro（4 B パラメータ）– より小型で高速なモデルですが、多言語音声クローン、インラインプロソディタグ、ストリーミング生成をサポートしています。

主な機能

• 自然言語制御 – [whisper]、[angry]、[pause] などのタグをスクリプトに直接埋め込んで、感情、プロソディ、タイミングを制御します。
• 音声クローン – 10〜30 秒の参照音声で話者の音色を再現でき、最先端の CER/WER を達成する言語間クローンをサポートします。
• 複数話者 / シーン生成 – 複数のキャラクターが登場する対話やドラマ全体を一度に生成します。
• 長編ストリーミング – 数分のテキストに対して連続オーディオを生成します。Drama 3 は、新しい指示でセグメントを再レンダリングする「ディレクターリビジョン」もサポートしています。
• ローカル編集 / インフィリング – クリップ全体を再生成せずに単語を置換または挿入し、音色の連続性を維持します。

使用方法

• インストール – 環境設定、重みのダウンロード、Docker デプロイの詳細なガイドが https://speech.fish.audio/install/ に提供されています。
• 推論 – コマンドラインツール、HTTP API サーバー、Web UI を使用して、ローカルで音声を合成したり、サービスとして提供したりできます。
• LLM エージェント – 同じインストール手順を、オンデマンド TTS を必要とする自律エージェントから呼び出すことができます。

パフォーマンス

• S2-Pro は、英語/中国語の Seed-TTS ベンチマークで 1% 未満の WER を達成し、複数の多言語およびチューリングテスト指標でリードしています。
• Drama 3 は、多言語クローン、自由形式編集、マルチターン感情改訂の新しいベンチマークで S2-Pro を上回ります（詳細はテクニカルレポート PDF を参照）。

ライセンス

• コードとモデルの重みは Fish Audio Community License の下でリリースされています。S2-Pro の重みには Fish Audio Research License が適用されます。リポジトリは違法使用を警告し、ライセンスを執行します。

リソース

• Hugging Face のモデルチェックポイント：fishaudio/drama-3 および fishaudio/s2-pro。
• テクニカルレポート（PDF および arXiv）には、アーキテクチャ、トレーニングレシピ、評価が詳述されています。
• コミュニティ：Discord、Docker Hub、QQ チャンネルでサポートを提供。

対象ユーザー

• 表現力豊かで制御可能な音声を必要とする音声対応アプリ、ゲーム、仮想アシスタントを開発する開発者。
• 大規模な多言語 TTS や編集ループ生成を研究する研究者。
• 各声を録音せずに複数キャラクターのオーディオドラマを生成したいコンテンツクリエイター。

---

上記の情報はすべてリポジトリの README から直接取得したものであり、追加機能は推測されていません。