LAVE: LLM を用いた Docmatix のゼロショット VQA 評価

Hugging Face は LAVE（LLM 支援 VQA 評価）を導入しました。これは大規模言語モデル（LLM）を用いて Visual Question Answering（VQA）の性能を評価する指標です。この手法は、従来の完全一致メトリクスが、分布外（OOD）やゼロショット設定において、特に Docmatix のような合成データセットを使用する場合に、意味的に正しい回答を認識できない問題に対処します。

従来の VQA メトリクスが OOD 設定で失敗する理由

従来の VQA 評価は、予測回答と参照回答の文字列を完全一致させることに依存しており、独立かつ同分布（IID）データに対しては有効ですが、分布外（OOD）シナリオでは失敗します。ゼロショット転移タスクでは、モデルは意味的に正しい回答を生成することが多いものの、形式や具体性、解釈が人手で作成された参照回答と異なることがあります。

この不一致は Docmatix の開発中に観測されました。データセットで Florence-2 をファインチューニングすると、意味的な性能は高いもののベンチマークスコアは低くなります。DocVQA ベンチマークでさらにファインチューニングすると、必要な構文をモデルに学習させることでスコアは向上しましたが、人間の評価者は結果として得られたモデルの性能が低下したと判断しました。これは従来のメトリクスが必ずしも人間の認識と一致しないことを示しています。

LAVE 評価手法

LAVE は VQA 評価を、LLM を用いたインコンテキスト学習による回答評価タスクとして位置付けます。二元的な一致判定ではなく、曖昧さや不完全さを考慮した細かな評価スケールを使用します。

評価スケールとプロンプト

LAVE は 1 から 3 の評価スケールを使用します:

• 1: 不正確または無関係な回答。
• 2: 曖昧または不完全な回答。
• 3: 正しい回答。

高品質な評価を確保するため、LLM には最終評価の前に根拠を示すようプロンプトし、評価は必ず 1 つだけ提供するよう厳格に指示します。二者択一の質問に対しては、正しい評価として 'yes' または 'no' のみが受け入れられることをプロンプトで明示的に要求します。

スコア算出関数

最終評価 ($r$) は LLM の応答の最後の文字から抽出され、次式により [0, 1] の範囲のスコア ($s$) に変換されます:

$s = \frac{r - 1}{2}$

Docmatix における実験結果

LAVE をテストするため、Hugging Face はベースラインモデルとして MPLUGDocOwl1.5（元の DocVQA テストサブセットで 84% の ANLS スコアを達成）を使用し、Docmatix の 200 枚の画像サブセットでゼロショット生成を実施しました。評価用 LLM として Llama-2-Chat-7b を採用しました。

定量的比較

従来のメトリクスと LAVE を比較すると、モデル性能の認識に大きな差があることが明らかになります:

メトリクス	スコア
CIDER	0.1411
BLEU	0.0032
ANLS	0.002
LAVE	0.58

主なポイント

評価に LLM を使用した結果、従来のメトリクスに比べて約 50% の精度向上が得られました。これは現在の VQA 評価基準が過度に硬直しており、標準外の形式で正しい情報を提供するモデルを罰する可能性があることを示唆しています。特に合成データセット上でのゼロショット性能を評価する際には、人間の判断とより一致する評価指標が必要であることが示されました。