Ayanami0730/deep_research_bench

解決する課題

DeepResearch Bench は、ディープリサーチエージェント (DRA) を評価するための体系的な手法が不足しているという課題に対処します。これは、さまざまな専門分野にわたる複雑な博士レベルの研究タスクをエージェントがどの程度処理できるかを測定するための標準化されたフレームワークを提供します。

仕組み

このベンチマークでは、22の分野（科学、金融、ソフトウェアなど）にわたる100の専門家が作成した研究タスクを使用します。主に2つの評価手法を採用しています。

1. RACE (Reference-based Adaptive Criteria-driven Evaluation)：タスク固有の基準（包括性、洞察力、指示への忠実度、読みやすさ）を動的に生成し、エージェントの出力を高品質な参照レポートと比較することで、レポートの品質を評価します。
2. FACT (Framework for Factual Abundance and Citation Trustworthiness)：事実の主張とその引用を抽出し、WebスクレイピングとLLMの判断を使用して、引用されたソースが実際にその主張を裏付けているかどうかを検証することで、根拠と検索の正確性を評価します。

対象読者

ディープリサーチエージェントを構築しており、エージェントの分析の深さ、事実の正確性、レポート作成の品質を測定するために、厳格で専門家によって検証されたベンチマークを必要としているAI研究者および開発者。

ハイライト

• 専門家による監修: 博士レベルの専門家やシニア実務者が、現実世界のユーザークエリの分布に基づいて設計したタスク。
• 多次元スコアリング: 最終レポートの定性的な側面と、引用の定量的な正確性の両方を評価します。
• 幅広いドメインカバレッジ: STEM、ビジネス、人文科学を含む22の異なる分野を網羅しています。
• 自動化パイプライン: 記事のクリーニングや、最先端のLLMを審査員として使用した評価を実行するためのスクリプトが含まれています。