Big Bench Audio リリース

Artificial Analysis は Big Bench Audio をリリースしました。これは音声言語モデルの推論能力を評価するために設計された新しい評価データセットです。このデータセットは、音声処理時にテキスト処理と比較してモデルのパフォーマンスが著しく低下する「音声推論ギャップ」を示しています。ただし、基礎となる推論タスクは同じです。

Big Bench Audio データセット

Big Bench Audio は、Big Bench Hard から適応された 1,000 問の音声質問で構成されています。これは高度な推論の厳密なテストで知られるベンチマークです。データセットは 4 つのカテゴリに均等に分かれており、各カテゴリに 250 問ずつあります：

Formal Fallacies: 提供された文からの論理的演繹をテストします。
Navigate: ナビゲーションの手順が始点に戻るかを判断します。
Object Counting: コレクション内の特定のアイテムを数えます。
Web of Lies: 自然言語で表現されたブール論理を評価します。

品質を確保するため、音声ファイルは上位ランクの Text to Speech (TTS) モデルから 23 つの合成音声を使用して生成されました。各生成は、転写物に対するレーベンシュタイン距離とエッジケースの手動レビューによって検証されました。

評価方法と構成

音声が推論に与える影響を分離するため、Artificial Analysis はモデルを 4 つの異なる構成でテストしました：

Speech to Speech: 音声入力 $ ightarrow$ 音声出力。
Speech to Text: 音声入力 $ ightarrow$ テキスト出力。
Text to Speech: テキスト入力 $ ightarrow$ 音声出力。
Text to Text: テキスト入力 $ ightarrow$ テキスト出力。

実験設定

18 件の実験が行われ、GPT-4o のさまざまなバージョン（Realtime Preview と mini Realtime Preview を含む）、Gemini 1.5 Flash、Gemini 1.5 Pro、および Gemini 2.0 Flash（Experimental）が関与しました。

評価は LLM 評価器（Claude 3.5 Sonnet, Oct '24）を使用して自動化されました。システムは OpenAI の Whisper API を介して音声応答を転写し、その後、評価器に公式の回答および元の質問の文脈に基づいて候補の回答を「CORRECT」または「INCORRECT」のいずれかとしてラベル付けするよう促します。

主な発見: 音声推論ギャップ

Big Bench Audio 分析の主な発見は、テキストから音声モダリティへの移行時にパフォーマンスが著しく低下することです。

パフォーマンスの低下

GPT-4o を主要な例として使用すると、研究では精度の明確な低下が示されています：

Text to Text: 92% の精度 (GPT-4o Aug '24)。
Text to Speech: 74% の精度。
Speech to Speech: 66% の精度 (GPT-4o Realtime Preview Oct '24)。

このデータは、音声入力と音声出力の両方が推論パフォーマンスの低下に寄与していることを示しています。

パイプライン vs. ネイティブ音声

従来のパイプラインアプローチ（Whisper（転写）、GPT-4o（推論）、TTS-1（音声生成）のシーケンスを利用）は、推論タスクにおいて現在ネイティブな Speech to Speech モデルを上回っています。これらのパイプラインは、純粋なテキスト処理と比較してパフォーマンスの低下が最小限であり、推論精度が最優先されるアプリケーションでは、パイプラインアーキテクチャが現在ネイティブな音声モデルよりも信頼性が高いことを示唆しています。