vibevoice-community/VibeVoice

何を解決するか

VibeVoiceは、テキストから表現力豊かな長時間・複数話者対話音声（ポッドキャストなど）を生成するためのフレームワークです。長時間にわたる話者の一貫性の維持や、複数話者間での自然な発話の順序管理といった、一般的なTTSの課題を克服します。

動作方法

このフレームワークは、非常に低いフレームレート（7.5 Hz）で動作する連続音声トークナイザー（音響および意味）を使用し、音声品質を維持しながら効率を向上させます。大規模言語モデル（LLM）でテキストの文脈と会話の流れを処理し、次トークン拡散フレームワークを用いて高精細な音響詳細を生成する拡散ヘッドを組み合わせます。

対象ユーザー

長時間のオーディオコンテンツを作成するクリエイター（例：ポッドキャスト制作担当者）や、リアルタイムTTSアプリケーションを開発する開発者向けです。

主な特徴

• 長時間合成: 最大90分間の音声生成が可能。
• 複数話者対応: 1回のセッションで最大4人の異なる話者をサポート。
• リアルタイム対応: 低レイテンシTTS用に特別設計された0.5Bストリーミングモデルを含む。
• ボイスクラウンニング: 1.5Bおよび7Bモデルで、音声サンプルからボイスをクローン可能。
• ファインチューニング: コミュニティが支援する実装により、新しい言語やボイスへのモデル適応が可能。