open-compass/opencompass

解决的问题

OpenCompass 提供了一个统一的一站式平台，用于评估大型语言模型 (LLMs) 和视觉语言模型的质量与有效性。它通过将众多数据集和模型配置整合到单一工作流程中，消除了管理分散评估脚本的需求。

运作方式

该平台管理一个完整的评估管线，包括数据集与模型配置、推理、评估以及结果总结。它支持使用各种推理后端（如 vLLM、LMDeploy 和 HuggingFace）的本地开源模型与基于 API 的模型。该系统可以处理不同的评估策略（例如 zero-shot、few-shot、chain-of-thought 和 LLM-as-judge），并支持分布式执行以处理大规模工作负载。

适用对象

专为需要针对标准化数据集对 NLP 和多模态模型进行基准测试，以评估其在推理、编码、科学和安全性方面能力的研发人员与工程师所设计。

特色亮点

• 广泛整合：支持超过 100 个数据集以及来自 OpenAI、Anthropic、Gemini、DeepSeek 和 Qwen 等提供商的广泛模型。
• 多模态支持：集成了 VLMEvalKit，可在单一工作流程中评估纯文本和视觉语言数据集。
• 灵活推理：兼容于多种后端（vLLM、LMDeploy、HuggingFace）并支持并发或分布式执行。
• 多样化评估方法：包含基于规则的评估、LLM-as-judge，以及用于顺序评估管线的 CascadeEvaluator。