QwenAudio/Fun-Audio-Chat

解決する課題

Fun-Audio-Chatは、自然で低遅延な音声インタラクションを作成するという課題に取り組んでいます。大規模言語モデルで音声データを処理する際に通常伴う膨大な計算コストを削減しつつ、高品質な音声理解と生成が可能なモデルを提供することを目指しています。

仕組み

このプロジェクトは、2つの主要な革新を備えた大規模音声言語モデル (LALM) アーキテクチャを利用しています。

• デュアル解像度音声表現 (Dual-Resolution Speech Representations)：効率的な5Hzの共有バックボーンと25Hzの精細なヘッドを組み合わせています。このアプローチにより、音声品質を犠牲にすることなく、より高いフレームレートを使用するモデルと比較してGPUの計算要件を約50%削減します。
• コア・カクテル学習 (Core-Cocktail Training)：この学習手法は、モデルが音声タスクを学習しながら、基盤となるLLMの強力なテキストベースの能力を維持できるようにするために使用されます。

対象ユーザー

このツールは、音声アシスタント、音声分析ツール、またはリアルタイムの音声対音声 (S2S) や音声対テキスト (S2T) 機能を必要とするシステムなど、音声駆動型のAIアプリケーションを構築する開発者や研究者向けに設計されています。

ハイライト

• 低遅延：自然でリアルタイムな音声インタラクションのために最適化されています。
• 多機能性：音声QA、音声理解、音声関数呼び出し (speech function calling)、音声指示追従、および音声共感をサポートします。
• 高効率：デュアル解像度表現により、処理中のGPU時間を大幅に削減します。
• SOTAパフォーマンス：OpenAudioBench、VoiceBench、UltraEval-Audioを含む複数のベンチマークで高い評価を得ています。