EleutherAI/lm-evaluation-harness

解决的问题

它提供了一个统一的框架，用于在各种评估任务中测试生成式语言模型。这消除了为每个新模型手动实现基准测试的需要，确保结果可复现，并且在不同研究论文和组织之间具有可比性。

工作原理

该工具包充当语言模型和学术基准之间的标准化接口。它支持大量模型后端——包括 Hugging Face transformers、vLLM、NVIDIA NeMo 和商业 API（如 OpenAI）——并将它们应用于 60 多个标准学术基准。它处理了分词、批处理和推理（包括多 GPU 分片和张量并行）的复杂性，以计算所选任务的性能指标。

适用对象

需要对自身 LLM 的能力进行严格基准测试，以对照行业标准数据集的 AI 研究人员、开发者和组织（如 NVIDIA 和 Cohere）。

亮点

• 广泛的基准库：包含 60 多个标准学术基准，涵盖数百个子任务。
• 广泛的模型支持：兼容 Hugging Face、vLLM、GPT-NeoX、Megatron-DeepSpeed 以及各种商业 API。
• 灵活的基础设施：支持数据并行评估、通过 accelerate 进行模型分片，以及原生 PyTorch 张量并行。
• Llama.cpp 集成：通过 Hugging Face 后端和 llama-server OpenAI 兼容端点支持 GGUF 模型。
• 可定制性：允许自定义提示、评估指标，以及基于插件的模型后端和过滤器注册。