XYBench: XY問題におけるAIのパフォーマンス評価
概要
XYBenchは、AIアシスタントが「XY問題」にどのように対処するかを評価するために設計されたベンチマークです。XY問題とは、ユーザーが本来の目的(X)ではなく、誤ったアプローチ(Y)について助けを求めてしまうシナリオを指します。アレン人工知能研究所(AI2)、カーネギーメロン大学、NVIDIA、ジョンズ・ホプキンス大学の研究者らによって開発されたこのベンチマークは、プログラミング、料理、住宅修理にわたる8,000以上の質問で構成されています。これは、LLMのパフォーマンスにおける重要なギャップ、すなわち暗黙の誤解を認識し、ユーザーの真の意図を解決する解決策を優先する能力に対処することを目的としています。
AIアシスタントにおけるXY問題
XY問題は、ユーザーがある特定のアプローチが機能すると想定してそのアプローチについて支援を求めたものの、そのアプローチ自体が目的達成には不適切であることに気づいていない場合に発生します。例えば、カップケーキから滑り落ちるアイシングをどう固めるかを尋ねるユーザーに対し、実際の解決策はカップケーキが冷めるのを待つことである、といったケースです。効果的なAIアシスタントは、単に文字通りの誤った質問に答えるのではなく、こうした誤解を特定し、ユーザーを正しい解決策へと導く能力を備えていなければなりません。
ベンチマークの構築
XYBenchは、幅広い実世界のシナリオを網羅するために、4つの異なる分野から収集された8,115の質問で構成されています。
- Stack Overflow (1,557件): 採用された回答が本来の目的を解決している、実世界の技術的なクエリ。
- Stack Exchange (184件): コミュニティ主導の追加的な問題解決データ。
- 手動キュレーション (102件): 専門家が選定したXY問題の例。
- WikiHow (6,272件): もっともらしい誤解を含むように生成された手順ガイド。意図を推測するための十分なコンテキストを確保するように調整されている。
評価指標
モデルがこれらのシナリオにどの程度うまく対処できるかを評価するため、XYBenchではClaude Sonnet 4.5を自動判定器として使用し、3つの特定の行動を測定します。
- 実用的な解決策 (Pragmatic Solution): モデルが提示されたリクエスト(Y)と意図されたリクエスト(X)の両方に対する解決策を提供しているかを判断します。
- 実用的な強調 (Pragmatic Emphasis): モデルが提示されたリクエスト、意図されたリクエストのどちらに焦点を当てているか、あるいは両方のバランスをとっているかを評価します。
- 誤解の特定 (Misconception Identification): 誤ったアプローチを抑制しつつ、ユーザーを本来の目的へと導くモデルの能力を測定します。
自動判定器の人間による検証では、誤解の特定において84.6~93.3%、実用的な強調において74.2~79.8%という高い一致率が示されました。
実験結果
Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Proを含むフロンティアモデルをテストした結果、本来の目的よりも提示されたリクエストを優先する一貫した傾向が明らかになりました。
- 強調のギャップ: モデルは本来の目的に対する解決策を頻繁に提供するものの、誤ったアプローチに焦点を当ててしまい、本来の目的を埋もれさせてしまうことがよくありました。Stack Overflowにおいて、モデルが本来の目的に焦点を当てた回答はわずか35~41%でした。
- 認識と実行の乖離: 重要な発見は、認識と生成の間のギャップです。多肢選択式の問題では、モデルは71~84%の確率で目的重視の回答を正しく特定できました。しかし、自由記述形式の回答を求められると、同じ目的を回答の中心に据えることに苦戦しました。
- オラクルテスト: 意図された目的(X)が提示されたリクエスト(Y)と併せて明示的に提供された場合でも、モデルはユーザーを誘導する際に人間のベースラインを一貫して上回ることはできませんでした。これは、意図を検出することは課題の一部に過ぎず、モデルはその意図に基づいて行動するように訓練される必要があることを示唆しています。