Ayanami0730/deep_research_bench

解决的问题

DeepResearch Bench 解决了目前缺乏系统化评估深度研究代理 (DRAs) 方法的问题。它提供了一个标准化框架，用于衡量这些代理在处理跨专业领域的复杂博士级研究任务时的表现。

运作方式

该基准测试使用了 100 个由专家设计的研究任务，涵盖 22 个领域（如科学、金融和软件）。它采用两种主要的评估方法：

1. RACE (Reference-based Adaptive Criteria-driven Evaluation)：通过动态生成任务特定的标准（全面性、洞察力、指令遵循能力和可读性），并将代理的输出与高质量参考报告进行比较，从而评估报告质量。
2. FACT (Framework for Factual Abundance and Citation Trustworthiness)：通过提取事实主张及其引用，然后使用网页爬虫和 LLM 判断来验证所引用的来源是否确实支持这些主张，从而评估基础与检索能力。

适用对象

AI 研究人员与开发者，他们正在构建深度研究代理，并需要一个严谨且经专家验证的基准测试来衡量其代理的分析深度、事实准确性与报告撰写质量。

特色亮点

• 专家策划：任务由博士级专家与资深从业人员根据真实世界的使用者查询分布所设计。
• 多维度评分：同时评估最终报告的定性面向与引用的定量准确性。
• 广泛的领域覆盖：涵盖 22 个不同领域，包括 STEM、商业与人文学科。
• 自动化流程：包含用于清理文章并使用前沿 LLM 作为评审进行评估的脚本。