JudgmentLabs/judgeval

它解决的问题

Judgeval 解决了构建 LLM 驱动代理的团队面临的一个核心痛点：知道它们何时失败、为何失败，以及修复是否真正解决了问题。它不是盲目地发布更改，而是提供生产级的可观测性，并让你在真实追踪上线前验证改进。

工作原理

该 SDK 通过两行设置即可添加可观测性。你包装你的 OpenAI（或其他支持的）客户端，并用 @Tracer.observe() 注解函数，以通过 OpenTelemetry 自动捕获输入、输出和令牌使用情况。然后，你定义基于提示的“评判器”，大规模地对追踪进行评分——二元评判器在条件为真时应用标签，分类评判器从给定选项中选择。这些标签累积成可搜索的代理行为记录。你可以对实时生产流量运行评判器，而不会影响延迟（在线监控），或在历史追踪上重放它们以验证修复。可选的 SQL 访问让你直接查询底层遥测数据，并在服务器端强制执行只读安全性。

适用对象

适用于构建 LLM 代理的工程师和团队，他们需要超越临时测试。对于已经使用 OpenAI、Anthropic、Google GenAI 或 Together AI 的用户，以及使用 LangGraph、OpenLit 或 Claude Agent SDK 的任何人尤其有用。CLI 和 MCP 服务器使其可以从终端和 AI 助手/IDE 中访问。

亮点

• 基于 OpenTelemetry 的追踪，自动捕获输入、输出和令牌使用情况
• 基于提示的评判器（二元和分类），标记追踪并构建可搜索的行为记录
• 在线监控，在服务器端对实时生产流量进行评分，零延迟影响，并支持 Slack 警报
• 对主要 LLM 提供商的广泛自动检测，以及与流行代理框架的集成
• 用于查询遥测数据的 SQL 接口，以及用于灵活工作流的 CLI 和 MCP 服务器