JudgmentLabs/judgeval

해결하는 문제

Judgeval은 LLM 기반 에이전트를 구축하는 팀의 핵심 문제를 해결합니다: 언제 실패하는지, 왜 실패하는지, 그리고 수정이 실제로 문제를 해결하는지 아는 것입니다. 변경 사항을 맹목적으로 배포하는 대신, 프로덕션 등급의 관찰 가능성과 실제 추적에 대해 개선 사항을 검증하는 방법을 제공합니다.

작동 방식

이 SDK는 두 줄의 설정으로 관찰 가능성을 추가합니다. OpenAI(또는 기타 지원되는) 클라이언트를 래핑하고 @Tracer.observe()로 함수에 주석을 달아 OpenTelemetry를 통해 입력, 출력 및 토큰 사용량을 자동으로 캡처합니다. 그런 다음 프롬프트 기반 "판정자"를 정의하여 추적을 대규모로 평가합니다. 이진 판정자는 조건이 참일 때 라벨을 적용하고, 분류 판정자는 주어진 옵션에서 선택합니다. 이러한 라벨은 에이전트 동작의 검색 가능한 기록으로 축적됩니다. 지연 시간 영향 없이 라이브 프로덕션 트래픽에 대해 판정자를 실행(온라인 모니터링)하거나 기록된 추적에서 재생하여 수정 사항을 검증할 수 있습니다. 선택적 SQL 액세스를 통해 기본 원격 측정 데이터를 직접 쿼리할 수 있으며, 읽기 전용 보안이 서버 측에서 강제됩니다.

대상 사용자

LLM 에이전트를 구축하는 엔지니어와 팀으로, 임시 테스트를 넘어서야 하는 사람들입니다. 특히 OpenAI, Anthropic, Google GenAI 또는 Together AI를 이미 사용하는 사람들과 LangGraph, OpenLit 또는 Claude Agent SDK를 사용하는 모든 사람에게 유용합니다. CLI와 MCP 서버를 통해 터미널 및 AI 어시스턴트/IDE에서 접근할 수 있습니다.

주요 기능

• OpenTelemetry 기반 추적으로 입력, 출력 및 토큰 사용량 자동 캡처
• 프롬프트 기반 판정자(이진 및 분류)로 추적에 라벨을 지정하고 검색 가능한 동작 기록 구축
• 온라인 모니터링으로 서버 측에서 라이브 프로덕션 트래픽을 평가하고 지연 시간 영향 없음, Slack 알림 포함
• 주요 LLM 제공업체에 대한 광범위한 자동 계측 및 인기 에이전트 프레임워크와의 통합
• 원격 측정 데이터를 쿼리하기 위한 SQL 인터페이스, 유연한 워크플로를 위한 CLI 및 MCP 서버