ByteDance-Seed/EdgeBench

解決する問題

EdgeBench は、AI エージェントの一回限りのパフォーマンスベンチマークの限界に対処します。エージェントがタスクを即座に解決できるかどうかを測定する代わりに、実世界環境との反復的な相互作用を通じて、長期間（タスクあたり最大 12 時間以上）にわたって学習し改善する能力を評価します。

仕組み

EdgeBench は、6 つのカテゴリ（科学と ML、システムと SE、最適化、知識、形式、ゲーム）にわたる 134 の実世界タスクで構成されています。SForge と呼ばれる専用の評価ハーネスを使用し、2 つのコンテナ分離システムを採用しています。エージェントが操作する「作業」コンテナと、テストを実行する隠れた「判定」コンテナです。エージェントは提出物に関する詳細なフィードバックを受け取り、時間予算が切れるまでクローズドループでソリューションを反復できます。最終スコアは、全体の軌跡中に達成された最良の結果に基づきます。

対象者

自律エージェントを構築する AI 研究者や開発者向けに設計されており、実行可能な環境と対話してフィードバックを受け取る時間が与えられたときに、モデルがどのようにスケールし改善するかを測定したいと考えています。

ハイライト

• 長期間評価：単一の試行ではなく、タスクあたり 12 時間以上の改善を追跡します。
• 2 コンテナ分離：作業環境と判定環境を分離することで、エージェントが評価を「ハッキング」するのを防ぎます。
• 多様なタスクセット：134 のタスク（うち 51 は公開）を含み、形式検証やシステムエンジニアリングなどの複雑な領域をカバーします。
• 柔軟なバックエンドサポート：SForge は、ローカル Docker、大規模実行用の Kubernetes、E2B クラウドサンドボックスをサポートします。