modelscope/evalscope

A streamlined and customizable framework for efficient large model (LLM, VLM, AIGC) evaluation and performance benchmarking.

解决的问题

EvalScope 提供了一个统一的一站式框架，用于评估大型语言模型 (LLMs) 和其他前沿 AI 模型。它消除了手动执行分散的基准测试、压力测试和可视化工具的需求，将能力评估、推理性能测试和结果分析整合到单一的命令行界面中。

运作方式

EvalScope 作为一个编排层，整合了多个评估后端（如 OpenCompass、VLMEvalKit 和 RAGEval）以及内置基准测试（如 MMLU、C-Eval 和 GSM8K）。它支持通过在线 API（兼容于 OpenAI）或本地模型权重来评估模型。对于 Agent 评估，它使用受控的多轮 AgentLoop，结合可插拔策略和 Docker 沙盒，以记录并可视化模型的推理轨迹。

适用对象

它专为需要跨文本、视觉、音频和多模态领域，对模型准确性、推理能力和推理效率进行基准测试的 AI 开发人员和研究人员而设计。

特色亮点

  • 综合基准测试：内置支持多种模态（LLM、VLM、Embedding、Reranker）的广泛行业标准基准测试。
  • Agent 评估模式：支持多轮 Agent 循环，并为 SWE-bench 等基准测试提供完整的追踪记录与可视化。
  • 性能压力测试：用于测量推理指标（如 Time to First Token (TTFT) 和 Time Per Output Token (TPOT)）的工具。
  • 交互式仪表板：基于 React 的网页界面，用于多维度模型比较和详细预测检查。
  • 竞技场模式 (Arena Mode)：启用两两对决，直观地对模型进行排名。
  • 可扩展架构：允许开发人员轻松添加自定义数据集、模型和评估指标。

相关

  • 项目
    EvoScientist/EvoScientist

    EvoScientist 是一个多智能体研究框架，通过使用自我演进的记忆、自主技能生成以及由专业子智能体组成的团队来执行复杂的研究任务，从而实现科学研究生命周期的自动化。

  • 项目
    confident-ai/deepeval

    DeepEval 是一个开源的 Python 框架，允许你为任何基于 LLM 的应用（如聊天机器人、代理、RAG 管道或多模态生成器）编写 pytest 风格的测试。它附带数十种基于研究的指标（例如 G-Eval、JevEval、任务完成度、幻觉、偏见），可以在任何模型上本地运行，并且你可以添加自定义指标。该库与流行的工具包（LangChain、OpenAI、Anthropic、LlamaIndex 等）集成，自动跟踪模型调用，实现端到端和步骤级评估。测试从命令行运行，适合 CI/CD，并可连接到商业的 Confident AI 平台进行生产环境监控。非常适合需要为 LLM 应用提供定量质量门的开发者和团队。

  • 项目
    AISBench/benchmark

    AISBench Benchmark 是一个用于 AI 模型的性能与精度评测工具，支持文本、多模态和智能体场景，可对接 vLLM 等服务化推理后端，内置大量数据集与评测基准。

  • 项目
    IBM/AssetOpsBench

    AssetOpsBench 是一个开源基准/框架，用于构建、编排和评估基于大语言模型（LLM）的AI代理，这些代理处理工业资产管理系统数据（传感器、工单、故障模式等）。它提供领域特定的MCP工具服务器、多种ReAct风格代理后端、141+个真实场景，以及在KDD/AAAI/NeurIPS竞赛中使用的多维评估流水线。

  • 项目
    agentscope-ai/agentscope

    一个生产就绪的代理框架，提供 SDK 和 FastAPI 后端，用于构建多租户、多会话的代理应用程序，并利用 LLM 推理和工具使用。