benchflow-ai/awesome-evals

它是什么

benchflow-ai/awesome-evals 是一个关于构建和评估 AI 智能体的精选资源列表。它收集了论文、博客文章、演讲、课程、工具和基准测试，并为每一项内容添加了简短的注释，解释其内容及重要性。该项目由 BenchFlow 公司维护，并欢迎各界贡献。

它与普通链接列表有何不同

README 强调这不仅仅是一个简单的链接堆砌。每个资源都有描述，每个 URL 都经过检查，引用内容保持原样，失效或废弃的工具会被移除而不是任其存在。目前包含 443+ 个精选链接 和 143 篇深度阅读笔记。使用了两个标记：🆕 表示资源在 2025–2026 年发布或更新，⚠️ 表示注意事项（例如未经验证的 URL）。

列表是如何构建的

根据 README，策展人通过以下几种方法进行整理：

• 4 层递归引用爬取：检查了 11,600 篇论文并按引用频率排序，以挖掘该领域的学术核心。
• 针对性发现行业来源：寻找引用图谱中遗漏的行业来源，即知名从业者的博客。
• 47 场演讲和播客：进行了详细的转录和总结，包含逐字引用和时间戳。
• 分章节缺口审计：通过对抗性验证，即检查每个章节是否存在遗漏内容。

内容概览

列表按章节组织，包括：

• 为什么需要评估（评估 AI 智能体的动机）
• 为什么能够评估某种能力等同于已经构建了它（与强化学习的联系）
• 模型 / 框架 / 技能分解
• 可观测性以及你可以评估智能体的哪些层面
• 评估基础设施（数据集、评分器、追踪、CI）
• 基准测试与评估的区别，以及基准测试完整性问题（如污染和排行榜博弈）
• 评估与强化学习环境
• LLM-as-judge 和验证器
• 智能体特定评估（轨迹、工具使用、多轮对话、世界状态）
• 安全与对抗性评估（提示词注入、越狱）
• 演讲、播客和幻灯片
• 公司与行业概览

还包含：代码手册

除了列表本身，仓库还包含 PATTERNS.md，这是一份包含真实、可运行代码和工作示例的手册，涵盖了 LLM-as-judge（与人类判断对齐）、pass@k/pass^k 指标、错误分析、轨迹和世界状态评分、CI 门控以及可验证奖励等技术。

入门指南

README 开篇提供了一套包含 12 个资源的“必读入门指南”。其中包括：

• Shunyu Yao 的文章“The Second Half”（评估变得比训练更重要）
• Eugene Yan 关于修复评估流程而非购买工具的建议
• Han-Chung Lee 关于智能体评估基础设施中隐藏的技术债务
• Hamel Husain & Shreya Shankar 的 LLM Evals FAQ
• Jason Wei 关于验证不对称性的论述
• Anthropic 的 AI 智能体评估指南
• Ofir Press 关于构建良好语言建模基准测试的建议
• 普林斯顿研究人员关于将成本作为一级指标的论文
• Nathan Lambert 关于评估流沙的论述
• 关于“谁来验证验证者？”的学术论文
• Florian Brand 的“Benches 2026”（智能体时代的基准测试）
• OpenAI 关于可信第三方评估的说明

列表中的每一项都附有一行关于其核心观点的总结。

实用信息

该项目使用 Awesome 风格格式（awesome.re 徽章）。它拥有贡献指南、许可证和 Discord 社区。如果你是该领域的新手，README 建议先阅读必读入门指南。