SeekingDream/Static-to-Dynamic-LLMEval

解决的问题

大型语言模型（LLM）在从互联网抓取的大量文本上进行训练。有时，用于测试模型的问题和答案会意外出现在训练数据中。这被称为数据污染，它使基准测试分数看起来比实际更好。传统的静态基准测试——固定的问题集——特别容易受到影响，因为完全相同的测试项可能出现在训练数据中。这篇综述通过回顾该领域如何从静态基准转向动态基准来解决这个问题，动态基准会生成新的测试项或随时间变化以减少污染。

工作原理

该仓库是一篇综述论文，而非软件工具。它系统地回顾了关于LLM评估的已发表研究。首先，它考察了人们试图使静态基准更安全的方法——例如金丝雀字符串、加密、标签保护和事后检测——并解释了每种方法的局限性。然后，它研究了动态基准，这些基准通过即时创建新的测试材料来避免污染。该综述将动态方法分类为时间截止、基于规则的生成（基于模板、基于表格、基于图）、基于LLM的生成（基准重写、交互式评估、多智能体评估）、混合生成以及网络和系统方法。基于这一回顾，作者提出了动态基准的设计原则，并指出目前缺乏评估此类基准的标准标准。

适用对象

这主要面向构建或使用LLM基准的研究人员和工程师。如果你正在开发评估套件、设计测试来衡量模型能力，或者担心你的模型报告分数因测试数据泄露而虚高，这篇综述提供了当前格局和开放问题的结构化概述。

亮点

• 提供了针对数据污染的静态和动态基准测试方法的系统分类。
• 涵盖了静态基准的缓解技术（金丝雀字符串、加密、标签保护、事后检测）以及广泛的动态基准测试方法。
• 强调了一个关键差距：缺乏动态基准的标准化评估标准。
• 基于对现有方法的分析，提出了动态基准测试的最佳设计原则。
• 包含大量精选的相关论文列表及链接，并欢迎通过拉取请求进行社区贡献。