XYBench: XY 문제에 대한 AI 성능 평가

개요

XYBench는 AI 어시스턴트가 사용자의 실제 근본적인 목표(X)가 아닌, 종종 잘못된 접근 방식(Y)에 대해 도움을 요청하는 시나리오인 "XY 문제"를 얼마나 잘 처리하는지 평가하기 위해 설계된 벤치마크입니다. Allen Institute for AI (AI2), 카네기 멜런 대학교, NVIDIA, 존스 홉킨스 대학교의 연구진이 개발한 이 벤치마크는 프로그래밍, 요리, 집 수리 등 다양한 분야에 걸친 8,000개 이상의 질문으로 구성되어 있습니다. 이는 LLM 성능의 중요한 격차, 즉 암묵적인 오해를 인식하고 사용자의 진정한 의도를 해결하는 솔루션을 우선시하는 능력을 다루는 것을 목표로 합니다.

AI 어시스턴트에서의 XY 문제

XY 문제는 사용자가 특정 접근 방식이 효과가 있을 것이라고 가정하고 그 방식에 대해 도움을 요청하지만, 정작 그 접근 방식 자체가 자신의 특정 목표에는 결함이 있다는 사실을 깨닫지 못할 때 발생합니다. 예를 들어, 사용자는 컵케이크에서 흘러내리는 프로스팅을 걸쭉하게 만드는 방법을 물어볼 수 있지만, 실제 해결책은 컵케이크가 식을 때까지 기다리는 것입니다. 효과적인 AI 어시스턴트는 단순히 문자 그대로의 결함 있는 질문에 답하는 대신, 이러한 오해를 식별하고 사용자를 올바른 해결책으로 안내할 수 있어야 합니다.

벤치마크 구성

XYBench는 광범위한 실제 시나리오를 보장하기 위해 네 가지 영역에서 수집된 8,115개의 질문으로 구성됩니다:

  • Stack Overflow (1,557개 질문): 채택된 인간의 답변이 근본적인 목표를 해결하는 실제 기술적 쿼리.
  • Stack Exchange (184개 질문): 추가적인 커뮤니티 기반 문제 해결 데이터.
  • 수동 큐레이션 (102개 질문): 전문가가 선택한 XY 문제의 예시.
  • WikiHow (6,272개 질문): 그럴듯한 오해를 포함하도록 생성된 절차 가이드로, 의도를 추론하기에 충분한 맥락을 보장하도록 정제됨.

평가 지표

모델이 이러한 시나리오를 얼마나 잘 처리하는지 평가하기 위해, XYBench는 Claude Sonnet 4.5를 자동 판정자로 사용하여 세 가지 특정 행동을 측정합니다:

  1. 실용적 솔루션 (Pragmatic Solution): 모델이 명시된 요청(Y)과 의도된 요청(X) 모두에 대한 솔루션을 제공하는지 결정합니다.
  2. 실용적 강조 (Pragmatic Emphasis): 모델이 명시된 요청에 집중하는지, 의도된 요청에 집중하는지, 아니면 둘 다 균형을 맞추는지 평가합니다.
  3. 오해 식별 (Misconception Identification): 모델이 잘못된 접근 방식을 지양하면서 사용자를 근본적인 목표로 안내하는 능력을 측정합니다.

자동 판정자에 대한 인간 검증 결과, 오해 식별에서 84.6–93.3%, 실용적 강조에서 74.2–79.8%의 일치도를 보이며 높은 합의를 나타냈습니다.

실험 결과

Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro를 포함한 최첨단 모델들을 테스트한 결과, 근본적인 목표보다 명시된 요청을 우선시하는 경향이 일관되게 나타났습니다.

  • 강조 격차 (Emphasis Gap): 모델들은 근본적인 목표에 대한 해결책을 자주 제공했지만, 종종 이를 숨기고 잘못된 접근 방식에 주로 집중했습니다. Stack Overflow에서 모델이 근본적인 목표에 집중한 응답은 35–41%에 불과했습니다.
  • 인식 대 실행 (Recognition vs. Execution): 핵심적인 발견은 인식과 생성 사이의 격차였습니다. 객관식 옵션이 주어졌을 때, 모델은 71–84%의 확률로 목표 중심적인 답변을 성공적으로 식별했습니다. 그러나 자유 형식의 응답을 생성하도록 요청받았을 때는 동일한 목표를 답변의 초점으로 만드는 데 어려움을 겪었습니다.
  • 오라클 테스트 (Oracle Testing): 명시된 요청(Y)과 함께 의도된 목표(X)가 명시적으로 제공되었을 때조차, 모델은 사용자를 리디렉션하는 데 있어 인간 기준치를 일관되게 능가하지 못했습니다. 이는 의도를 감지하는 것이 도전 과제의 일부일 뿐이며, 모델이 그 의도에 따라 행동하도록 훈련되어야 함을 시사합니다.

Sources