microsoft/VibeVoice

解決する課題

VibeVoiceは、話者の一貫性と意味的な整合性を維持しながら、長時間の音声を処理・生成するという課題に対処します。高忠実度の音声認識（ASR）とテキスト読み上げ（TTS）の両方に対応する統合フレームワークを提供し、音声を短く断片的なチャンクに分割することなく、長い音声シーケンスを処理できます。

仕組み

このシステムは、7.5 Hzという超低フレームレートで動作する連続音声トークナイザー（音響および意味論的）を使用し、音声の忠実度を効率的に保持します。次トークン拡散フレームワークを採用しており、大規模言語モデル（LLM）を組み合わせてテキストの文脈と対話の流れを処理し、拡散ヘッドによって高忠実度の音響詳細を生成します。

対象ユーザー

音声AIに取り組む研究者や開発者、特に長時間の会話音声、ポッドキャスト、または複数話者の対話を処理する必要があるユーザー向けに設計されています。

ハイライト

• 長文ASR: 最大60分の連続音声を一度のパスで処理し、話者ID、タイムスタンプ、内容を含む構造化された文字起こしを提供します。
• カスタムホットワード: 特定の名称や専門用語を指定することで、ドメイン固有のコンテンツの認識精度を向上させます。
• Streaming ASR: 音声が入力されると同時にリアルタイムで文字起こしを行うバリアントです。
• 長文TTS: 1回の会話で最大4人の異なる話者を含む、最大90分の音声を合成可能です。
• リアルタイムTTS: 低遅延のストリーミングテキスト読み上げ生成用に設計された、軽量な0.5Bパラメータモデルです。
• エッジデプロイメント: GPUを必要とせず、CPU上でリアルタイム推論が可能なASRモデルのBitNetバージョンが含まれています。