agentscope-ai/OpenJudge

何を解決するか

OpenJudge は、チャットボットや AI エージェントなどの AI アプリケーションを体系的な評価ワークフローで改善するのを支援するオープンソースの評価フレームワークです。品質指標の定義の難しさや、スケールアップした評価を実行して弱点を特定し、アプリケーションのパフォーマンスを改善する課題に対処しています。

仕組み

OpenJudge は、一般、エージェント固有、マルチモーダルの領域にまたがる50以上のプロダクション対応のグレーダーを備えたライブラリを提供します。ユーザーは以下の4つの方法でグレーダーを作成できます：

• カスタマイズ：Python インターフェースまたはプロンプトテンプレートを使ってルールを定義。
• ゼロショット評価基準生成：LLM を使ってタスクの説明から自動的に評価基準を生成。
• データ駆動型評価基準生成：アノテーション済みデータから GraderGenerator を使って評価基準を要約。
• Judge モデルの訓練：プロンプトだけでは不十分な複雑なシナリオ用に専用モデルを訓練。

結果は全体スコアに集約され、LangSmith や Langfuse などの観測性プラットフォームに統合できるほか、VERL などのフレームワークを介して RL 学習の報酬信号としても利用可能です。

対象ユーザー

LLM ベースのアプリケーションやエージェントの開発・最適化を行う開発者や AI 研究者向けです。特に、品質評価やファインチューニング用の報酬信号をプロフェッショナルかつスケーラブルに生成したい方におすすめです。

特徴

• 包括的なグレーダーライブラリ：意味的品質、エージェントの経路、ツール呼び出し、画像-テキスト整合性など、50以上の検証済みグレーダーを含む。
• 柔軟な評価基準生成：ゼロショットとデータ駆動型の両方の評価基準生成をサポート。
• 統合エコシステム：LangSmith、Langfuse、VERL とシームレスに連携。
• オンラインプレイグラウンド：インストール不要でブラウザベースのインターフェースでグレーダーのテストや評価基準の構築が可能。
• エージェントライフサイクル評価：最終出力だけでなく、メモリ、リフレクション、ツール使用を含む全体プロセスを評価。