Tencent-Hunyuan/CL-bench

解决的问题

CL-bench 旨在解决如何评估语言模型在推理时直接从提供的上下文中学习新的、未见信息的能力。它超越了静态知识检索，旨在衡量模型综合和应用提示词中提供的新规则、程序和特定领域知识的能力。

工作原理

该项目提供了两个数据集：CL-bench 和 CL-bench Life，包含由专家标注的任务。每个任务包括一个系统提示词、包含新信息的上下文以及一套评分标准。评估流程在这些任务上运行模型，并使用评判模型（例如 GPT-5.1）来验证输出是否满足所有定义的评分标准。只有当模型通过了与之相关的所有评分标准时，任务才被视为已解决。

适用对象

适用于需要针对复杂、现实世界和特定领域场景对大型语言模型的推理和上下文学习能力进行基准测试的 AI 研究人员和开发人员。

主要亮点

• 全面评估：包含 1,899 个专业/领域特定任务以及 405 个现实生活场景（如群聊和活动日志）。
• 专家标注：每个任务均由领域专家验证，专业基准测试中每个上下文平均包含 63.2 条评分标准。
• 标准化流程：提供用于推理和评估的现成 Python 脚本，支持 OpenAI 和自定义 API 端点。
• 透明评分：采用严格的二元评估方法，模型必须满足所有评分标准才能成功，从而确保高质量的性能衡量。