ServiceNow/AgentLab

何を解決するか

AgentLabは、ウェブブラウザと対話するエージェントの開発・テスト・評価を統合的に実行できるフレームワークを提供することで、ウェブエージェント研究の加速を目的としています。複数のベンチマークにわたる大規模な実験の実行、LLM APIの管理、エージェント行動の結果分析を簡素化します。

動作方法

AgentLabはBrowserGymと統合され、エージェント作成のためのビルディングブロックを提供します。大規模な並列実行にはRayを使用し、異なるシードや設定で数千件のジョブを実行できます。フレームワークはOpenRouter、OpenAI、Azure、および自己ホスト型のTGIモデルをサポートする統合LLM APIを提供します。また、実験データの遅延読み込み機能や、GradioベースのAgentXray（エージェントの行動とスクリーンショットをトレースする可視化ツール）といった結果分析ツールも含まれます。

対象ユーザー

主にウェブナビゲーションエージェントを開発するAI研究者や開発者向けであり、消費者製品としての用途ではありません。

特徴

• 広範なベンチマーク対応：WebArena、WorkArena、VisualWebArena、OSWorldなど、多数のベンチマークをサポート。
• 並列実行：Rayを活用してエージェント実験の巨大な並列化を実現。ハング状態を防ぐための内蔵タイムアウト管理機能付き。
• 可視化デバッグ：AgentXrayにより、エージェントのステップ、行動、スクリーンショットの可視化トレース分析が可能。
• 再現性ツール：専用のReproducibilityAgentと再現性ジャーナルにより、ソフトウェアバージョンやLLMの変更履歴を追跡。
• 統合API：さまざまなLLMプロバイダーとのインタラクションを1つのインターフェースで実現。