ServiceNow/BrowserGym

🌎💪 BrowserGym, a Gym environment for web task automation

BrowserGym – Webエージェント研究のためのフレームワーク

何であるか

BrowserGymは、Playwrightを介してWebブラウザをGymnasium環境に変換するオープンソースのPythonライブラリです。研究者は任意のLLMベースまたはルールベースのエージェントを接続し、現実世界のWebページや合成されたWebタスクと相互作用させることができます。このライブラリには、よく知られたWebオートメーションベンチマーク(MiniWoB、WebArena、WorkArenaなど)のコレクションが同梱されており、単一の AbstractBrowserTask クラスを継承することで新しいタスクを簡単に追加できます。

なぜ重要か

Webエージェント研究——LLMにWebを閲覧、フォーム入力、ボタンクリック、マルチステップワークフローの完了などを学習させる——には、標準化され、再現可能な実験環境が必要です。BrowserGymは以下の機能を提供します:

  • 共通API(gym.make(...))により、同じエージェントコードが多数のベンチマークで動作します。
  • 合成、視覚的、現実世界のタスクをカバーするプラグアンドプレイ型ベンチマーク。
  • 大規模な評価とトレース収集に適した補完的なAgentLabプラットフォームとの統合。
  • カスタムタスク用の拡張性により、新しいWebインタラクション課題の迅速なプロトタイピングが可能。

誰向けか

  • LLM駆動のWebエージェントの構築または評価を行う研究者。
  • 新しいプロンプティングやファインチューニング戦略のベンチマークに再現可能な環境を必要とするMLエンジニア。
  • カスタムWebオートメーションタスクを開発し、Gymスタイルのループと組み込みメトリクスを再利用したい開発者。

クイックスタート

# 完全版パッケージのインストール(すべてのベンチマークを含む)
pip install browsergym
# PlaywrightのChromiumエンジンをインストール
playwright install chromium

次に、シンプルなオープンエンドタスクを起動します:

import gymnasium as gym
import browsergym.core  # 環境を登録

env = gym.make(
    "browsergym/openended",
    task_kwargs={"start_url": "https://www.google.com/"},
    wait_for_user_message=True,
)
obs, info = env.reset()
while True:
    action = ...          # あなたのエージェントの次のアクション
    obs, reward, done, _, info = env.step(action)
    if done:
        break
env.close()

...の部分をLLM(例:OpenAIの gpt-4o-mini)の呼び出しや任意のカスタムポリシーに置き換えてください。

主な機能(READMEより)

機能 詳細
同梱されたベンチマーク MiniWoB, WebArena, WebArenaVerified, VisualWebArena, WorkArena, AssistantBench, WebLINX, OpenApps, TimeWarp, Knows
拡張可能なタスククラス 新しいベンチマークを作成するために AbstractBrowserTask を継承
モジュールインストール browsergym-core, browsergym-miniwob など、必要なものだけをインストール可能
Playwrightバックエンド Playwright経由のChromiumを使用し、信頼性の高いヘッドレスブラウジングを実現
Gymnasium API gym.make, env.step, env.reset — RL/エージェント開発者に馴染み深い
AgentLab統合 大規模な実験管理とトレース分析用の補完リポジトリ
デモエージェント OpenAIモデルと連携可能な即実行スクリプト(demo_agent/run_demo.py)
オープンソース&MITライセンス 自由に使用・変更・拡張可能

エコシステムと関連プロジェクト

  • AgentLab – BrowserGymベンチマーク上でエージェントを実行し、結果を分析するためのフレームワーク。
  • WorkArena – エンタープライズスタイルのタスク向けのServiceNow固有ベンチマーク。
  • WebArena / VisualWebArena – 自己ホストドメイン上の現実的なWebタスクスイート。
  • MiniWoB – 伝統的な合成Webタスクコレクション。
  • DoomArena – BrowserGymページに攻撃を注入できるセキュリティテストアリーナ。

他の選択肢との比較

場合 BrowserGymが適している
Webタスク用の標準化されたRLスタイルインターフェースが必要 ✅
複数の公開ベンチマークでエージェントを評価したいが、ラッパーを再実装したくない ✅
単一のシンプルなWebスクレイピングスクリプトだけが必要 ❌(SeleniumやPlaywright単体で十分)
観察に視覚認識(スクリーンショット)が必要 ✅(VisualWebArenaとスクリーンショットオプションが組み込み)

引用

論文でBrowserGymを使用する場合、提供された2つのBibTeXエントリ(2025 Transactions on Machine Learning Research および 2024 ICML)を引用してください。関連研究のトレースはHugging Faceにホストされています。


BrowserGymは消費者製品ではなく、研究用フレームワークです。責任を持って使用してください。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト