LLMを裁判官として用いたRAGの評価

Mistral AIは、「LLMを裁判官として用いる（LLM as a Judge）」アプローチを使用して、検索拡張生成（Retrieval-Augmented Generation: RAG）システムを評価するための手法を導入しました。このフレームワークにより、開発者は、特定の機械読み取り可能な基準に基づいて、生成LLMの出力を評価する裁判官LLMを使用することで、評価をスケールさせることが可能になります。

スケーラブルな評価のためのLLM as a Judge

LLM as a Judgeは、人間の評価者が利用できない場合に、LLMシステムを大規模に評価するためのソリューションです。このセットアップでは、「裁判官LLM」に対して、数値（例：0-3または1-10）、バイナリ（True/False）、または定性的（例：「Excellent」から「Bad」）な事前定義されたスケールを使用して、「生成LLM」の回答を採点するよう指示します。

これを実装するために、開発者は、回答が正確か、関連性があるか、あるいは根拠に基づいているかといった採点基準を定義するカスタム指示プロンプトを作成します。Mistralのモデルは、これらのシステムの生成コンポーネントと裁判官コンポーネントの両方として機能することができます。

RAG Triad評価フレームワーク

単なる一貫性のチェックを超えて、Mistralは、RAGシステムの信頼性と文脈的整合性を評価する包括的なフレームワークであるRAG Triad（TruLensによって導入され、RAGASに類似したもの）を推奨しています。RAG Triadは、以下の3つの特定の指標を評価します：

1. Context Relevance

Context relevanceは、検索されたドキュメントがユーザーのクエリと一致しているかどうかを測定します。これにより、生成LLMに提供される情報が、有用な回答を生成するために適切かつ十分であることを保証します。

2. Groundedness

Groundednessは、生成された回答が検索されたコンテキストに基づいていることを検証します。この指標は、出力が事実に基づき、ソースデータに忠実であることを保証することで、ハルシネーションを減らすために極めて重要です。

3. Answer Relevance

Answer relevanceは、最終的な回答がユーザーの元のクエリにどの程度適切に対応しているかを評価し、出力がユーザーの意図に沿っており、価値のある洞察を提供していることを保証します。

構造化出力を用いた評価の実装

Mistral AIは、LLM-as-a-judgeプロセスをより信頼性が高く、機械読み取り可能にするために、その「structured outputs」API機能を利用しています。裁判官の回答に対して特定のスキーマを強制することで、開発者は評価結果が一致しており、プログラムで容易に処理できることを保証できます。

Pydanticモデルを使用することで、Mistralは、裁判官LLMに、ステップバイステップの推論プロセスによる説明と、Triadの3つの指標（context relevance、answer relevance、groundedness）のそれぞれに対するスコアの両方を提供することを要求するRAGEvaluationスキーマを定義する方法を示しています。