Tencent-Hunyuan/CL-bench

해결 과제

CL-bench는 언어 모델이 추론 시점에 제공된 문맥으로부터 새롭고 보지 못한 정보를 얼마나 잘 학습할 수 있는지 평가하는 과제를 해결합니다. 이는 단순한 정적 지식 검색을 넘어, 프롬프트에 제공된 새로운 규칙, 절차 및 도메인별 지식을 종합하고 적용하는 모델의 능력을 측정합니다.

작동 방식

이 프로젝트는 전문가가 주석을 단 작업으로 구성된 CL-bench와 CL-bench Life라는 두 가지 데이터셋을 제공합니다. 각 작업에는 시스템 프롬프트, 새로운 정보가 포함된 문맥, 그리고 일련의 평가 기준이 포함되어 있습니다. 평가 파이프라인은 이러한 작업에서 모델을 실행하고, 판정 모델(예: GPT-5.1)을 사용하여 출력이 정의된 모든 평가 기준을 충족하는지 확인합니다. 모델이 관련된 모든 평가 기준을 통과해야만 작업이 해결된 것으로 간주됩니다.

대상 사용자

복잡하고 실제적인 도메인별 시나리오를 바탕으로 대규모 언어 모델의 추론 및 문맥 내 학습(in-context learning) 능력을 벤치마킹해야 하는 AI 연구원 및 개발자를 위한 것입니다.

주요 특징

• 포괄적인 평가: 1,899개의 전문/도메인별 작업과 그룹 채팅 및 활동 로그와 같은 405개의 실제 시나리오를 포함합니다.
• 전문가 주석: 모든 작업은 도메인 전문가에 의해 검증되었으며, 전문 벤치마크에서는 문맥당 평균 63.2개의 평가 기준이 적용됩니다.
• 표준화된 파이프라인: 추론 및 평가를 위한 즉시 사용 가능한 Python 스크립트를 제공하며, OpenAI 및 사용자 지정 API 엔드포인트를 모두 지원합니다.
• 투명한 채점: 모델이 성공하려면 모든 평가 기준을 충족해야 하는 엄격한 이진 평가 방식을 사용하여 고품질의 성능 측정을 보장합니다.