Hugging Face FutureBench: 将来のイベント予測におけるAIエージェントの評価

TL;DR

Hugging FaceはFutureBenchを導入しました。このベンチマークは、AIエージェントが将来の実世界の出来事を予測する能力を評価するよう設計されています。まだ起こっていない結果に焦点を当てることで、FutureBenchはデータ汚染を排除し、情報を統合し不確実性の中で推論するエージェントの能力を客観的かつ時間スタンプ付きで測定します。

予測ベース評価の根拠

従来のAIベンチマークは、主にモデルが過去の知識を思い出す能力や既に解決された問題を解く能力をテストします。Hugging Faceは、このアプローチがデータ汚染に陥りやすく、モデルが訓練中にテスト問題を見てしまう可能性があり、暗記が知性と誤認される「リーダーボードの錯覚」を引き起こすと指摘しています。

Forecasting future events solves these methodological issues because:

  • Contamination is impossible by design: モデルはまだ存在しないデータで訓練できないため、汚染は設計上不可能です。
  • Inherent Verifiability: 予測はイベントが発生した時点で客観的に検証可能となり、パフォーマンスの明確な時間スタンプ付き記録が作られます。
  • Higher-Order Intelligence: 科学、経済、地政学における結果を予測するには、単なるパターンマッチングではなく、統合、推論、確率の重み付けが必要です。

FutureBenchの方法論

FutureBenchは、2つの主要なデータソースを使用して、意味のある予測タスクの安定したストリームを生成します。

1. ニュース生成質問

smolagentsベースのエージェントが主要なニュースサイトをスクレイピングし、トップページの記事を分析して、具体的かつ時間制限のある予測質問を作成します。

  • Technical Stack: DeepSeek-V3（推論/生成）、Firecrawl（コンテンツ抽出）、Tavily（コンテキスト検索）。
  • Cadence: エージェントは通常、セッションごとに5つの質問を生成し、実現までの時間枠は1週間です。

2. Polymarket統合

FutureBenchは、予測市場プラットフォームであるPolymarketから週に約8つの質問を取り込みます。品質を確保するため、チームは温度、株式、暗号通貨市場に関する過剰な質問を除去するフィルタを適用しています。

系統的評価の3つのレベル

FutureBenchは、研究者がエージェントパイプラインの特定の変数を分離し、パフォーマンス向上がどこで起きているかを理解できるようにします。

  • Level 1: Framework Comparison: LLMとツールを固定したまま、異なるエージェントフレームワーク（例：LangChain vs. CrewAI）をテストします。
  • Level 2: Tool Performance: 異なる検索実装（例：Tavily、Google、Bing）を比較するか、インターネットアクセスなしのベースモデルとツールの価値を測定します。
  • Level 3: Model Capabilities: フレームワークとツールを固定したまま、異なるLLM（例：DeepSeek-V3 vs. GPT-4）をテストし、純粋な推論能力を測定します。

初期結果とモデルの挙動

smolagentsをベースフレームワークとして、Tavily検索とウェブスクレイパーからなるツールキットを使用した結果、Hugging Faceはエージェントモデルがベース言語モデルを一貫して上回ることを観測しました。また、ベンチマークは主要モデル間で明確な行動パターンの違いも明らかにしました。

  • Claude 3.7: 厳密な分析構造を示し、体系的な賛否フレームワークと定量的ギャップ分析を活用します。頻繁なスクレイピングによりウェブを深く探索する傾向があり、入力トークンコストが増加します。
  • GPT-4.1: 生データからの外挿よりも、市場コンセンサスと既存の予測を将来のイベントの主要シグナルとして重視します。
  • DeepSeek-V3: 体系的な手法を示し、初期検索アプローチが制約に直面した際にデータの限界を明示的に認識します。

制限事項と今後の方向性

特定された主な課題は評価コストの高さです。Claudeのようにウェブページを頻繁にスクレイピングするモデルは、マルチターンループで大量の入力トークンを蓄積し、生成コストが大幅に増加します。Hugging Faceは、新しいパターンを取り入れ、質問の取得やデータ分析に関するコミュニティのフィードバックを求めることで、FutureBenchの進化を続ける予定です。

Sources