Digital Green Farmer.chat: LLM-as-a-Judge で RAG を強化
Digital Green は、農家や農業指導員にパーソナライズされた農業アドバイスを提供することを目的とした、Retrieval-Augmented Generation（RAG）チャットボットである Farmer.chat を開発しました。46,000 件の研究論文からなるナレッジベースから提供される情報の信頼性と正確性を確保するため、チームはスケールでパフォーマンスを定量化する「LLM-as-a-judge」評価システムを導入しました。
農業支援のためのシステムアーキテクチャ
Farmer.chat は、キュレーションされた信頼できる農業データに基づく応答を保証するために、マルチコンポーネントアーキテクチャを採用しています。
ナレッジベース構築
- Preprocessing: PDF ドキュメントは Scio API を通じて取り込み、トピックは地理的エリア別に自動分類され、意味的にグループ化されます。
- Semantic Chunking: テキストは、意味が類似した文を小さなテキスト埋め込みとコサイン類似度を用いて一緒にグループ化し、チャンクに分割されます。
- Vector Storage: チャンクはベクトル表現に変換され、QdrantDB に保存されます。
RAG パイプラインとユーザーエージェント
- Information Retrieval: システムはベクトルデータベースを検索し、ユーザーのクエリに一致するテキストチャンクを取得します。
- Generation: LLM は取得したチャンクとユーザークエリを使用して、人間らしい応答を生成します。
- User-facing Agent: GPT-4o によって駆動されるこのプランニングエージェントは、ReAct ベースのプロンプトを使用してユーザーの意図を理解し、欠落情報を要求し、実行ツールを呼び出します。利用可能なツールには RAG QA エンドポイント、ビデオ検索、天気エンドポイント、作物テーブルが含まれます。
評価のための LLM-as-a-Judge の実装
農業アドバイスの品質は決定的な指標がないため、Digital Green は LLM-as-a-judge 手法を採用し、特定の事前定義された基準に基づいて出力を評価する LLM を使用しました。
主な評価指標
- Prompt Clarity: 意図の明確さ、トピックの具体性、エンティティ属性の特定に基づき、ユーザー入力を 1〜3 のスケールで評価します。
- Question Type: クエリを 6 つの認知的複雑性カテゴリ（remember、understand、apply、analyze、evaluate、create）に分類します。
- Answered Queries: チャットボットが成功裏に対応した質問の割合を追跡し、ナレッジベースのギャップを特定します。
- RAG Accuracy: 応答が提供されたコンテキストから事実的に導き出されたかを評価する二値（0 または 1）指標です。この手法は約 360 件のテスト質問に対する人間評価と高い相関を示しました。
RAG Accuracy のプロンプト設計
忠実性を評価するために、システムは RAGAS ライブラリに触発された自然言語推論プロンプトを使用します。ジャッジ LLM は応答から生成された原子的な事実文を分析し、取得したコンテキストと比較して、文がコンテキストから導き出せる場合は 1、そうでない場合は 0 を割り当てます。
RAG パフォーマンスのための LLM ベンチマーク
Digital Green は、さまざまな作物と日付にわたる 700 件以上のランダム化されたユーザークエリのデータセットを使用して、4 つの主要な LLM（GPT-4-Turbo、Llama-3-70B-Instruct、Gemini-1.5-Pro、Gemini-1.5-Flash）を比較テストしました。
| LLM | 忠実性 | 関連性 | 回答済み * 関連性 | 回答済み * 忠実性 | 未回答 |
|---|---|---|---|---|---|
| GPT-4-turbo | 88% | 75% | 59% | 69% | 21.9% |
| Llama-3-70B | 78% | 76% | 76% | 78% | 0.3% |
| Gemini-1.5-Pro | 91% | 88% | 71% | 73% | 19.4% |
| Gemini-1.5-Flash | 89% | 78% | 74% | 85% | 4.5% |
主な発見:
- 最高の忠実性: Gemini-1.5-Pro が最も高い事実的正確性（91%）を達成しました。
- 最適なトレードオフ: Gemini-1.5-Flash は、忠実性（89%）が高く、未回答質問の割合が低い（4.5%）という優れたバランスにより、プロダクションに採用されました。
インパクトと成果
LLM-as-a-judge 指標に導かれた 1 年間の反復開発により、Farmer.chat は以下のマイルストーンを達成しました。
- リーチ: 20,000 人以上の農家にサービスを提供しました。
- ボリューム: 340,000 件以上のクエリを処理しました。
- スケール: 6 つ以上の言語と 50 種類のバリューチェーン作物をサポートしました。
- 安全性: バイアスや有害な応答をほぼゼロに保ちました。