InternLM/WildClawBench

解決する課題

WildClawBenchは、単なる関数呼び出しやJSONパースなどの孤立した能力テストを超え、AIエージェントが複雑なエンドツーエンドの現実世界のタスクを実行できるかを評価するために設計されています。ベンチマーク上のパフォーマンスと実際の有用性の間のギャップを埋めるため、自律的な計画とエラー回復を必要とする、高リスクで長期にわたるタスクを通じて、ライブ環境でのエージェントのテストを行います。

仕組み

エージェントは、Webブラウザ、bashターミナル、ファイルシステム、メール、カレンダーなどの実際のツールにアクセスできるライブのOpenClaw環境（パーソナルAIアシスタントフレームワーク）にデプロイされます。このベンチマークは、生産性フロー、コードインテリジェンス、社会的インタラクション、検索と取得、創造的統合、安全性アライメントの6つのカテゴリにまたがる、60件のオリジナルで手作業で作成されたタスクで構成されています。

再現性を確保し、データリークを防ぐため、各タスクは隔離されたDockerコンテナ内で実行されます。システムは4つの異なるエージェントハーネス（OpenClaw、Claude Code、Codex CLI、Hermes Agent）をサポートしており、研究者が基盤となるLLMの能力と、エージェントフレームワークが提供するスキャフォールディングを区別できるようにします。

対象者

このツールは、現実世界のシナリオにおいて、モデルの自律性、マルチモーダル能力、安全性を測定するための厳格で実用的な評価スイートを必要とする、エージェント型システムを構築するAI研究者や開発者向けです。

ハイライト

• 現実世界の環境: モックではなく実際のツールを使用して、実際のエージェント性をテストします。
• 多様なタスクスイート: サッカーハイライトのクリップ作成からメール交渉、ドキュメント化されていないコードのデバッグまで、あらゆるものをカバーする60件のオリジナルタスク。
• ハーネス比較: モデルのパフォーマンスをスキャフォールディングから分離するために、4つの異なるエージェントフレームワークをサポートします。
• 隔離された実行: 再現性とセキュリティのために、各タスクは独自のDockerコンテナ内で実行されます。
• マルチモーダルテスト: 動画理解とクロスモーダル統合を必要とするタスクを含みます。