XYBench: 评估 AI 在 XY 问题上的表现
概述
XYBench 是一个旨在评估 AI 助手如何处理“XY 问题”的基准测试。XY 问题是指用户寻求特定且往往是错误的方法(Y)的帮助,而不是寻求解决其根本目标(X)的帮助。该基准测试由艾伦人工智能研究所 (AI2)、卡内基梅隆大学、NVIDIA 和约翰霍普金斯大学的研究人员开发,包含超过 8,000 个涵盖编程、烹饪和家庭维修的问题。它旨在解决大语言模型 (LLM) 性能中的一个关键差距:识别隐含误解并优先考虑解决用户真实意图的方案的能力。
AI 助手中的 XY 问题
当用户假设某种特定方法可行并寻求该方法的帮助,却未意识到该方法本身对于其特定目标而言是有缺陷时,就会出现 XY 问题。例如,用户可能会询问如何加稠从纸杯蛋糕上滑落的糖霜,而实际的解决方案是等待纸杯蛋糕冷却。有效的 AI 助手必须能够识别这些误解,并将用户引导至正确的解决方案,而不是仅仅回答字面上那个有缺陷的问题。
基准测试构建
XYBench 包含 8,115 个问题,源自四个不同领域,以确保涵盖广泛的现实场景:
- Stack Overflow (1,557 个问题): 现实世界中的技术查询,其中被采纳的人类回答解决了根本目标。
- Stack Exchange (184 个问题): 额外的社区驱动问题解决数据。
- 人工策划 (102 个问题): 专家挑选的 XY 问题示例。
- WikiHow (6,272 个问题): 生成的程序指南,包含合理的误解,并经过优化以确保有足够的上下文来推断意图。
评估指标
为了评估模型处理这些场景的能力,XYBench 使用 Claude Sonnet 4.5 作为自动评判员,测量了三种特定行为:
- 实用解决方案: 确定模型是否同时为陈述的请求 (Y) 和预期的请求 (X) 提供了解决方案。
- 实用重点: 评估模型是侧重于陈述的请求、预期的请求,还是两者兼顾。
- 误解识别: 衡量模型将用户引导至根本目标同时劝阻错误方法的能力。
对自动评判员的人工验证显示出高度一致性,在误解识别方面的一致性为 84.6–93.3%,在实用重点方面的一致性为 74.2–79.8%。
实验结果
对前沿模型(包括 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro)的测试显示,模型普遍倾向于优先考虑陈述的请求,而非根本目标。
- 重点差距: 虽然模型经常为根本目标提供解决方案,但它们往往将其掩盖,主要关注错误的方法。在 Stack Overflow 上,模型仅在 35–41% 的回答中关注了根本目标。
- 识别与执行: 一个关键发现是识别与生成之间的差距。当提供多项选择题时,模型在 71–84% 的情况下成功识别了以目标为导向的答案。然而,当被要求生成自由形式的回答时,它们难以将同一个目标作为回答的重点。
- 预言机测试 (Oracle Testing): 即使在明确提供预期目标 (X) 和陈述请求 (Y) 的情况下,模型在重定向用户方面也未能持续优于人类基准,这表明检测意图只是挑战的一部分;模型还必须接受针对该意图采取行动的训练。