langchain-ai/openevals

Readymade evaluators for your LLM apps

解决的问题

OpenEvals 为编写 LLM 应用的评估（evals）提供了一个标准化的起点。它帮助开发者摆脱手动测试，通过提供工具来在模型输出进入生产环境前，程序化地判断其质量、正确性和安全性。

工作原理

该库主要采用「LLM-as-judge（LLM 作为裁判）」方法，使用一个高能力模型根据特定评分标准来评估另一个模型的输出。它提供 create_llm_as_judge 函数，负责将输入和输出格式化为提示词，并将裁判的响应解析为结构化的分数和评论。同时，也支持非 LLM 评估器，如精确匹配、Levenshtein 距离和嵌入相似度。

适用人群

专为使用 Python 或 TypeScript 构建 LLM 驱动应用的开发者设计，他们需要一种可靠的方法来在开发过程中衡量性能和检测回归问题。

主要亮点

  • 预构建提示：包含可立即使用的提示，用于评估质量、安全、安全、RAG（正确性、有用性、依据性、检索相关性）。
  • 灵活评分：支持二元分数、连续浮点分数，或自定义分数选项集。
  • 广泛评估范围：不仅限于文本，还包含结构化输出（精确匹配）、代码（通过 Pyright/Mypy 进行类型检查）和代理轨迹的评估器。
  • 多模态支持：能够评估包含附件或图像的输出。
  • 模拟工具：包含模拟用户以测试多轮交互的功能。

相关

  • 项目
    braintrustdata/autoevals

    一个通过统一接口使用 LLM-as-a-judge、RAG 特定指标和启发式方法评估 AI 模型输出的库。

  • 项目
    agentscope-ai/OpenJudge

    一个用于 AI 应用和代理的开源评估框架，提供 50 多个即用型评估器和工具库，可生成自定义评估标准。

  • 项目
    confident-ai/deepeval

    DeepEval 是一个开源 Python 框架，让您可以为 LLM 驱动的应用程序（代理、聊天机器人、RAG 管线）编写 pytest 风格的测试。它内置超过 30 种指标，包括像 G-Eval 和 JevEval 这样的 LLM-as-a-judge 分数，以及针对代理、RAG、多模态和偏见相关的检查。指标可以在本地运行，也可以使用您选择的任何 LLM 运行。该库与 LangChain、CrewAI、OpenAI、Anthropic、AWS AgentCore、Google ADK、LlamaIndex 甚至 TypeScript AI SDK 集成，提供装饰器和回调来捕捉完整的执行轨迹。简单的 CLI (`deepeval test run …`) 可在 CI/CD 中工作，选配的 Confident AI 平台则增加了云端报告和治理功能。通过 `pip install -U deepeval` 安装，编写 `LLMTestCase` 对象，选择指标并执行，让 LLM 质量测试像传统软件测试一样系统化。

  • 项目
    UKGovernmentBEIS/inspect_ai

    由英国人工智能安全研究所创建的大语言模型评估框架，包含 200 多个预构建评估，并支持模型评分。

  • 项目
    langfuse/langfuse-python

    一个为 Langfuse 平台提供的 Python SDK，为 LLM 应用提供可观测性、追踪、提示词管理和评估工具。