fishaudio/fish-diffusion

何を解決するか

Fish Diffusion は、高品質な音声生成モデルの作成を簡素化するためのトレーニングフレームワークです。Text-to-Speech (TTS)、Singing Voice Synthesis (SVS)、Singing Voice Conversion (SVC) モデルのトレーニングの複雑さに対処し、分離された、理解しやすいコード構造を提供します。

動作方法

このプロジェクトは、Diffusion モデルを用いてさまざまな音声生成タスクを処理します。FishAudio NSF-HiFiGAN などの音声合成器と統合され、ピッチ、テキスト、メル特徴などの音声特徴の抽出をサポートし、音声の生成や変換が可能なモデルをトレーニングできます。

対象ユーザー

音声合成および変換に取り組んでいる開発者や研究者向けです。特に、マルチスピーカー学習と効率的なハードウェア利用をサポートするフレームワークを探している方々に適しています。

特徴

• マルチスピーカー対応: 複数の異なる声を処理できるモデルのトレーニングが可能。
• 効率的なトレーニング: 半精度トレーニングとマルチマシン・マルチデバイス設定をサポートし、メモリ使用量を削減し、速度を向上。
• モジュール構造: diffsvc よりも理解しやすい、分離されたコード構造を採用。
• 広範な互換性: 44.1kHz Diff Singer コミュニティ音声合成器をサポートし、既存の DiffSVC モデルを変換するためのツールも提供。