benchflow-ai/awesome-evals

概要

benchflow-ai/awesome-evals は、AIエージェントの構築と評価に関するリソースを厳選したリストです。論文、ブログ記事、講演、コース、ツール、ベンチマークを収集し、それぞれの項目に内容と重要性を説明する短い注釈を加えています。このプロジェクトは BenchFlow 社によって管理されており、コミュニティからの貢献を歓迎しています。

単なるリンク集との違い

README では、これが単なるリンクの羅列ではないことが強調されています。すべてのリソースには説明が付けられ、すべての URL がチェックされ、引用は原文のまま保持され、リンク切れや放棄されたツールは放置されずに削除されます。現在、443以上の厳選されたリンクと143の詳細な読書ノートが含まれています。2つのマーカーが使用されています：🆕 は2025–2026年にリリースまたは更新されたリソース、⚠️ は注意点（未検証の URL など）を示します。

リストの作成方法

README によると、キュレーターは以下の手法を用いてリストを構築しました：

• 4段階の再帰的引用クロール：11,600本の論文を調査し、引用頻度でランク付けすることで、この分野の学術的な核心を抽出しました。
• 業界ソースのターゲット発見：引用グラフでは見落とされがちな、著名な実務家によるブログなどを発見しました。
• 47の講演とポッドキャスト：詳細に書き起こし、要約し、原文の引用とタイムスタンプを付記しました。
• セクションごとのギャップ監査：各セクションで不足している資料がないかを確認する敵対的検証を行いました。

内容

リストは以下のセクションに整理されています：

• なぜ評価が必要なのか（AIエージェント評価の動機）
• 能力を評価できることは、それを構築したことと同義である理由（強化学習との関連）
• モデル / ハーネス / スキルの分解
• 可観測性とエージェントのどの側面を評価できるか
• 評価インフラ（データセット、スコアラー、トレーシング、CI）
• ベンチマーク対評価、および汚染やリーダーボードのゲーミングといったベンチマークの整合性問題
• 評価と強化学習環境
• LLM-as-judge と検証器
• エージェント固有の評価（軌跡、ツール使用、マルチターン、世界状態）
• 安全性と敵対的評価（プロンプトインジェクション、ジェイルブレイク）
• 講演、ポッドキャスト、スライド
• 企業とランドスケープの概要

コードブックも同梱

リストだけでなく、リポジトリには PATTERNS.md が含まれています。これは、LLM-as-judge（人間の判断との整合）、pass@k/pass^k メトリクス、エラー分析、軌跡と世界状態の評価、CI ゲート、検証可能な報酬などの手法について、実際に実行可能なコードと具体例をまとめたプレイブックです。

スターターセット

README は、12のリソースからなる「必読スターターセット」で始まります。これには以下が含まれます：

• Shunyu Yao によるエッセイ「The Second Half」（評価が学習よりも重要になる）
• Eugene Yan による、ツールを買うのではなく評価プロセスを修正することの重要性
• Han-Chung Lee によるエージェント評価インフラにおける隠れた技術的負債
• Hamel Husain & Shreya Shankar による LLM Evals FAQ
• Jason Wei による検証の非対称性について
• Anthropic による AIエージェント評価ガイド
• Ofir Press による優れた言語モデリングベンチマークの構築について
• プリンストン大学の研究者によるコストを第一級の指標とする論文
• Nathan Lambert による評価の流砂について
• 「検証者を誰が検証するのか？」に関する学術論文
• Florian Brand による「Benches 2026」（エージェント時代のベンチマーク）
• OpenAI による信頼できる第三者評価について

それぞれのリソースには、主要なポイントをまとめた1行の要約が付けられています。

実用的な詳細

このプロジェクトは Awesome スタイルのフォーマット（awesome.re バッジ）を使用しています。貢献ガイド、ライセンス、Discord コミュニティがあります。このトピックが初めての方は、まず必読スターターセットを読むことが推奨されています。