zhao-kun/VibeVoiceFusion

何を解決するか

VibeVoiceFusion は、高品質でマルチスピーカー対応の合成音声生成とボイスクラウンニングを誰もが簡単に利用できるようにするフルスタックWebアプリケーションです。複雑なタスク（マルチスピーカー会話合成、LoRA微調整によるカスタムボイス適応、コンシューマーグレードGPUでのメモリ最適化推論）をコード知識なしで実行できるようにします。

動作方法

このプロジェクトは、MicrosoftのVibeVoiceモデルに基づいて構築されています。このモデルは、自己回帰（AR）言語モデルのバックボーン（Qwen）と、拡散ベースの精製ヘッドを組み合わせたハイブリッドアーキテクチャを使用しています。

1. 処理：テキストはトークン化され、参照ボイスサンプルは埋め込みにエンコードされます。
2. 生成：ARモデルが音声トークンを生成し、DPM-Solverベースの拡散ヘッドがそれらを高品質な音声波形に変換します。
3. 最適化：コンシューマーハードウェアで動作させるために、Float8量子化（モデルサイズを14GBから7GBに削減）と動的レイヤーオフロードを実装しています。これにより、TransformerレイヤーをCPUとGPUの間で移動させ、VRAMを節約します。
4. カスタマイズ：LoRA（低ランク適応）微調整をサポートしており、特定のボイスデータセットでモデルを訓練することで、より良いスタイル転送とボイスカスタマイズが可能になります。

対象ユーザー

• コンテンツクリエイター：複数の明確な声を用いたポッドキャスト、オーディオブック、ナレーション記事の制作に。
• AI愛好家：コードを書かずにボイスをクラウンニングし、TTS（テキストから音声）を実験したいユーザー。
• 開発者：完全なDocker対応の音声生成システムのデプロイを検討している人。

特徴

• マルチスピーカー会話エディタ：ドラッグアンドドロップによる順序変更が可能な視覚的エディタで、複雑な会話を編集可能。
• VRAM最適化：バランス、攻撃的、極端の3つのオフロードモードを提供し、10GB VRAMのGPUでもモデルを実行可能。
• LoRAトレーニングスイート：統合されたデータセット管理とトレーニングシステム、リアルタイムメトリクス、TensorBoard統合を備えています。
• 二か国語対応：英語と中国語のUIおよびバックエンドを完全サポート。
• バッチ生成：異なるランダムシードを使用して、1回のバッチで2～20の音声バリエーションを生成可能。