xlang-ai/OSWorld-V2

何を解決するか

OSWorld-V2 は、仮想マシンとゲート付きタスクデータセットを用いて、AIエージェントが現実のデスクトップ環境で動作する能力を評価するためのベンチマークです。実世界のオペレーティングシステム環境と相互作用するAIエージェントの能力を評価するための標準化された方法を提供します。さまざまなアプリケーション、モックされたウェブサイト、GitLabインスタンスとの相互作用を含む複雑なタスクを実行する能力をテストし、タスク定義とアセットをゲートすることでベンチマーク漏洩を防止します。

仕組み

このプロジェクトは、Ubuntuを実行する仮想マシン（DockerまたはAWS経由）を使用して制御された環境を提供します。Hugging Face経由で配布されるゲート付きのPythonタスククラスとアセットを使用して、目標を定義し、成功を評価します。エージェントは、スクリーンショットと観測をキャプチャするバックエンドを通じてOSと相互作用します。再現性を確保するために、コード、タスクファイル、アセット、VMイメージを同期するピン止めされたリリースを使用します。また、ライブで不安定な外部サイトに依存せずに現実的なウェブワークフローをシミュレートするため、モックされたウェブサイトとセルフホストGitLab設定も含まれています。

対象ユーザー

Claude、GPT、QwenなどのマルチモーダルAIエージェント（コンピュータを操作し、デスクトップレベルのタスクを自動化することを目的としている）を開発・研究している研究者や開発者向けです。

特徴

• 複数プロバイダー対応：ローカルLinuxサーバー向けにDocker、大規模並列評価向けにAWSに対応。
• 漏洩防止：タスククラスとアセットはHugging Faceでゲートされ、エージェントが訓練データ内で答えを見つけることを防ぎます。
• 再現性のあるリリース：VMイメージやタスクアセットを含むすべてのコンポーネントをピン止めする厳格なバージョン管理システム（例：v2.1）を使用。
• 現実的なシミュレーション：複雑なマルチアプリケーションワークフローをテストするため、モックされたウェブサイトとGitLab統合を含む。
• トラジェクトリ分析：手動でのタスク検査やトラジェクトリの視覚化ツールを提供し、エージェントの挙動をデバッグします。