Stanford CS329A 講義：エージェンティックな評価と長期ホライゾン・タスク
METR タイムホライゾン評価
METR ベンチマークは、人間の専門家と比較して、モデルがタスクを確実に完了できる時間をタイムホライゾン（時間的範囲）として報告することで、モデルの能力を測定します。成功率 50% および 80% の時点でのタイムホライゾンを報告します。
- 短期タスク（1–30 秒）では成功率が高く、HCAST タスク（1 分–30 時間）では成功率が大きく変動し、RE‑Bench タスク（最大 8 時間）では成功率が低くなります。
- 50% ホライゾンは、GPT‑2 (2019) の約 2 秒から Claude 3.7 Sonnet (2025) の約 59 分へと成長しており、約 7 か月ごとに倍増しています。
- 80% の信頼性におけるホライゾンは、はるかに短くなります。Claude 3.7 Sonnet は約 15 分を達成しており、50% と 80% のパフォーマンスの間に大きな差があることを示しています。
- 改善は、より優れた論理的推論、コード生成、ツール使用、エラーリカバリ、およびコンテキスト・エンジニアリングによって推進されていますが、信頼性は依然として制限要因となっています。
GDPVal 経済的価値ベンチマーク
GDPVal は、モデルの出力が 10 年以上の経験を持つ業界の専門家による仕事と比較して十分な品質であるかどうかを評価します。44 の職業と 9 つのセクターにわたる勝率を報告します。
- 勝率は、GPT‑4o の 12.4% から Claude Opus 4.1 の 47.6% に上昇しており、過去 2 年間でのほぼ線形な改善を示しています。
- タスクは明確に定義されており、多くの場合マルチモーダルであり、ゴールド・サブセットにおけるタスクあたりの平均価値は約 $400 です。
- モデルは、短期的で明確に定義されたタスクでは高いパフォーマンスを発揮しますが、より長く、曖昧なタスクでは低下します。明示的なコンテキストがない場合に、何をすべきかを推論しなければならない状況では苦戦します。
- コンテキストやタスクの枠組みを提供するための人間の監視（Human oversight）が、多くの職業において AI 支援を費用対効果の高いものにします。
DeepScholar‑Bench 研究合成
DeepScholar‑Bench は、モデルが学術論文の文献レビュー・セクションを生成できるかどうかをテストします。知識の合成、検索の質、および引用の検証可能性をスコア化します。
- 現在のシステム（OpenAI deep research, Gemini deep research, など）は、このライブ・ベンチマークにおいて全体的に 19% 未満のスコアを達成しています。
- モデルはしばしば一貫性のある英語を生成しますが、重要な事実を逃してしまいます。検索の質は中程度であり、ドキュメントの重要度スコアは 12.5% 未満です。
- 検証可能性は高くなる可能性があります（例：DeepScholar base は精度 ~90%）。しかし、合成と検証可能性が同時に優れた結果をもたらすことは稀です。
- 失敗モードは、不完全なソースの検索、ドキュメントの重要度の評価不能、重要な事実の非効率的な抽出、および合成の質と引用の正確性の間のトレードオフに起因します。
失敗モードと課題
ベンチマーク全体を通じて、エージェントの再帰的な失敗モードには以下が含まれます：
- 不適切な計画：タスクを適切なステップに分解できないこと。
- 不正確なツール選択：タスクを進展させないツールを選択すること。
- 早期の放棄：反復的な行動や混乱により、成功する前に停止してしまうこと。
- 反復的なアクション・ループ：失敗後、高確率なアクションを繰り返し実行すること。
- 追加の課題：モデルは、何をすべきかを知るために広範なコンテキストが必要であり、曖昧なプロンプトに対して苦戦し、ソフトウェアや知識労働の領域を超えた汎用化が限られていること。
主な要点点
- 能力（タイムホライゾン）は指数関数的に向上していますが、信頼性（80% ホライゾン）は大幅に遅れています。
- 経済的価値ベンチマークは、線形な向上を示しており、明示的なコンテキストと Human‑in‑the‑loop の枠組みが重要であることを強調しています。
- 研究合成タスクでは、モデルが依然として専門家レベルの知識検索、重要な事実の抽出、および引用の検証可能性を同時に満たすことはできないことが明らかになりました。
- したがって、エージェンティック AI の進歩には、より優れた計画、ツール使用、エラーリカバリ、および長期ホライゾン・タスクのための必要なコンテキストを供給または推論するための手法が必要となります。