構造化生成によるプロンプトの一貫性の向上

構造化生成（正規表現や文脈自由文法を使用してモデルの出力を特定の形式に制約すること）は、プロンプトのフォーマットやショットの順序に対するLLMベンチマークの感度を大幅に減少させます。このアプローチは、モデルのランキングを安定させるだけでなく、多くの場合、期待される全体的なパフォーマンスを向上させます。これは、プロンプト構造の微小な変化が結果の乖離を招く可能性があるという、現在のLLM評価における重大な欠陥に対処するものです。

問題点：プロンプト形式に対する評価の感度

LLMベンチマークのパフォーマンスは、たとえ基礎となる情報が同一であっても、プロンプトの特定の形式に大きく依存します。Hugging Faceの Leaderboards and Evals チームによる研究では、プロンプトのフォーマットに対する表面的な変更が、精度の大きな変動や不安定なモデルランキングを引き起こす可能性があることが明らかになりました。

精度とランキングへの影響

5つの異なるモデルと8つのプロンプト形式を用いてMMLUタスクを実施した実験において、チームは以下の事項を観察しました：

• スコアの分散： モデルのパフォーマンスは、異なる形式間で約10ポイント変動しました。ある極端なケースでは、特定のプロンプトのバリエーションに関連するトークナイザーの問題により、Qwen1.5-7Bの精度が51.2%から22.9%に低下しました。
• ランキングの不安定性： すべてのプロンプトのバリエーションを通じて、一貫して上位にランクされるモデルはありませんでした。この不安定性は、モデルの作成者が、特定のモデルにとって最も有利なプロンプト形式を選択することで、報告される結果を操作できる可能性があることを示唆しています。
• ショットの順序への感度： プロンプトの形式や例示が同一であっても、few-shotの例の順序を入れ替えるだけで、パフォーマンスに最大3ポイントの差が生じることがあります。

解決策としての構造化生成

この分散に対処するため、Hugging FaceとDottxtは Outlines ライブラリを使用して構造化生成を試行しました。入力（プロンプト）に焦点を当てるのではなく、この手法は、モデルに定義済みの構造に従うよう強制することで、出力に焦点を当てます。

技術的な実装

GSM8K（小学校レベルの算数の文章題）のようなタスクでは、研究者は出力を制約するために正規表現を実装しました。この正規表現は、モデルに以下を要求します：

1. 200文字から700文字の間で推論を行うこと。
2. 「The answer is」と明示的に記述すること。
3. 最大10桁の数字（0で始まらない）を提供すること。

「thought control」と呼ばれるこの技術により、研究者はモデルが回答に到達する前に実行する推論の量を制御することができます。

実験結果

GSM8K: N-Shot プロンプティング

Mistral-7Bv0.1とZephyr-7B-betaをGSM8Kデータセットで1〜8ショットのプロンプティングを用いてテストした結果、構造化生成は以下の効果を示しました：

• 分散の減少： 異なるn-shotの設定間でのパフォーマンスの分散が大幅に低下しました。
• ランキングの安定化： モデルの相対的なランキングは一貫性を保ちました。Mistralは一貫してZephyrを上回りました。
• 効率の向上： 1-shotの構造化されたパフォーマンスは、非構造化の1-shotよりも大幅に優れており、非構造化の5-shot生成と同等のパフォーマンスを発揮しました。

GPQA: N-Shot および ショットの順序のバリエーション

大学院レベルのGoogle検索不能なQ&Aベンチマーク（GPQA）の 'diamond' サブセットを使用して、研究者はショットの数とショットの順序（シャッフル用の異なるシードを使用）の両方を変化させた際の影響をテストしました。

パフォーマンスの向上：

Model	Unstructured Mean	Structured Mean
Mistral-7B-v0.1	0.2360	0.2935
Zephyr-7b-beta	0.2387	0.3048

分散の減少：

| Model | Unstructured Std Dev | Structured Std Dev | | :--- | :--- | :--- | :--- | | Mistral-7B-v0.1 | 0.0213 | 0.0202 | | Zephyr-7b-beta | 0.0273 | 0.0180 |

ランキングの一貫性に関する結論

GPQAの実験全体を通じて、構造化生成の適用は、2つのモデル間の「勝者」を決定する際の一貫性の向上に大きな改善をもたらしました。出力を制約することで、研究者は不適切なプロンプトの特徴による影響を最小限に抑え、評価をプロンプトのフォーマットへの感度ではなく、モデルの実際の能力をより正確に反映するものにしました。