xlang-ai/OSWorld

OSWorld – 実デスクトップ環境におけるマルチモーダルエージェントのベンチマーク

概要 – OSWorld は、完全な機能を備えた仮想マシン（Ubuntu および Windows）と、マルチモーダル AI エージェント（視覚、ツール使用などを備えた LLM）をオープンエンドな実世界のコンピュータタスクで評価するための Python ライブラリ（desktop-env）を提供するオープンソースのベンチマークです。リポジトリには、VM イメージ、統一環境 API、およびオフィスワークからソフトウェア開発まで多岐にわたる 300 以上のタスク仕様が含まれています。

主要コンポーネント

• DesktopEnv – VMware、VirtualBox、Docker (KVM)、Modal、Daytona、または AWS を介して VM を起動し、アクション（マウス/キーボード、ファイル操作、OS コマンド）と観測（スクリーンショット、OCR、UI 階層）を公開する薄いラッパー。pip install desktop-env でインストール可能。
• ベンチマークデータ – 各タスク、必要な資格情報、評価指標を記述した JSON ファイル。データビューア Web UI で例を閲覧できます。
• リファレンスエージェント – 純粋なスクリーンショット観測を使用してベースラインの GPT-4o ベースのエージェントを実行するスクリプト（run.py, run_multienv.py）。大規模評価を高速化するための並列実行をサポート。
• 評価ツール – show_result.py と手動検査スクリプトを使用して、ドメインごとの成功率を計算し、ビデオを生成し、個々の軌跡を検査します。

なぜ重要か – 既存の LLM ベンチマークのほとんどはテキストのみまたはシミュレーションです。OSWorld は、研究者が実際のオペレーティングシステムでエージェントをテストできるようにし、現実的な制約（パスワード、ネットワークプロキシ、Google アカウントの OAuth など）の下で、知覚、推論、ツール使用を要求します。このプロジェクトはまた、公開リーダーボード（検証プロセスを介して）と、シグナルの品質を向上させ、クラウドスケールの並列評価を追加する「OSWorld-Verified」アップデートも提供します。

はじめに

1. インストール – リポジトリをクローンし、pip install -r requirements.txt を実行します（または単に pip install desktop-env）。Python ≥ 3.10 が必要です。
2. プロバイダを選択 –
   • デスクトップ: VMware Workstation/Fusion（または VirtualBox）をインストールし、vmrun -T ws list で確認します。
   • Docker: KVM サポートを確認し、Docker をインストールして、provider_name=docker を設定します。
   • クラウド: AWS/Modal/Daytona ガイドに従って、サンドボックス化された VM イメージを入手します。
3. クイックデモを実行 – python quickstart.py は VM を作成し、ログインし、簡単な右クリックアクションを実行します。
4. ベースラインを実行 – OPENAI_API_KEY を設定し、README に示されている run.py または run_multienv.py コマンドを実行して GPT-4o エージェントを評価します。
5. 結果を検査 – python show_result.py は成功率を表示します。--detailed を追加すると、タスクごとのスコアが表示されます。

ベンチマークの拡張

• mm_agents インターフェースに準拠して独自のエージェントを実装します（README を参照）。
• desktop_env/providers/ の下にクラスを追加して、reset、step、close を実装することで、新しいプロバイダをプラグインします。
• プルリクエストを介して、新しいタスク定義や VM イメージを貢献します。

コミュニティとサポート – プロジェクトは Discord を維持し、PR を受け付け、リーダーボード提出のための検証パイプラインを提供しています。最近の更新（2025-07-28）では、OSWorld-Verified を導入し、AWS の並列処理を追加し、ベンチマークシグナルを改良しました。

ライセンス – Apache 2.0。

---

TL;DR – OSWorld は、すぐに実行できる VM 環境、Python API、ベースラインエージェント、評価スクリプトを備えた実 OS マルチモーダルエージェントベンチマークであり、LLM ベースのエージェントが実際にコンピュータをどれだけうまく使用できるかを測定することを目的としています。