JudgmentLabs/judgeval

解決する問題

Judgeval は、LLM ベースのエージェントを構築するチームにとっての核心的な痛点に対処します。それは、いつ失敗するか、なぜ失敗するか、そして修正が実際に問題を解決するかどうかを知ることです。変更を盲目的に出す代わりに、本番グレードの可観測性と、実際のトレースに対して改善を検証する方法を提供します。

仕組み

この SDK は、2 行のセットアップで可観測性を追加します。OpenAI（または他のサポートされている）クライアントをラップし、@Tracer.observe() で関数に注釈を付けて、OpenTelemetry を介して入力、出力、トークン使用量を自動的にキャプチャします。次に、プロンプトベースの「判定者」を定義して、トレースを大規模にスコアリングします。バイナリ判定者は条件が真の場合にラベルを適用し、分類判定者は指定されたオプションから選択します。これらのラベルは、エージェントの動作の検索可能な記録に蓄積されます。ライブ本番トラフィックに対して遅延の影響なしに判定者を実行（オンラインモニタリング）したり、履歴トレースで再生して修正を検証したりできます。オプションの SQL アクセスにより、基盤となるテレメトリデータを直接クエリでき、読み取り専用のセキュリティがサーバー側で強制されます。

対象者

LLM エージェントを構築するエンジニアとチームで、アドホックなテストを超える必要がある人。特に、OpenAI、Anthropic、Google GenAI、Together AI をすでに使用している人、および LangGraph、OpenLit、Claude Agent SDK を使用している人に役立ちます。CLI と MCP サーバーにより、ターミナルや AI アシスタント/IDE からアクセスできます。

ハイライト

• OpenTelemetry ベースのトレースで、入力、出力、トークン使用量を自動キャプチャ
• プロンプトベースの判定者（バイナリおよび分類）で、トレースにラベルを付け、検索可能な動作記録を構築
• オンラインモニタリングで、サーバー側でライブ本番トラフィックをスコアリングし、遅延の影響ゼロ、Slack アラート付き
• 主要な LLM プロバイダー向けの広範な自動計装と、人気のエージェントフレームワークとの統合
• テレメトリデータをクエリするための SQL インターフェース、および柔軟なワークフローのための CLI と MCP サーバー