xlang-ai/OSWorld
[NeurIPS 2024] OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
What it solves
OSWorld 提供一個標準化的基準測試與環境，評估多模態 AI 代理在真實電腦作業系統中執行開放式任務的能力。它解決了在真實桌面環境中測試代理的困難，因為在此環境中代理必須與各種軟體應用程式與系統設定互動。
How it works
此專案建立一個虛擬化的桌面環境（支援 Ubuntu 與 Windows），讓 AI 代理可以與之互動。它支援多種主機提供者，包括 VMware、VirtualBox、Docker、AWS 與 Daytona，允許本地與雲端的平行評估。代理會收到觀測（例如螢幕截圖），並執行動作（例如滑鼠點擊或鍵盤輸入）以完成任務。系統包含跨不同領域（Office、Daily、Professional）的基準任務集合，並提供工具記錄執行軌跡與計算成功率。
Who it’s for
此工具設計給研究人員與開發者，用於建構多模態代理與「電腦使用」AI，需要一套嚴謹的方法來衡量模型在真實軟體與作業系統中導航的表現。
Highlights
- Multi-Platform Support: Compatible with VMware, VirtualBox, Docker, AWS, and Daytona.
- Parallel Evaluation: AWS integration allows for large-scale parallelization to significantly reduce evaluation time.
- Real-World Tasks: Includes a diverse set of benchmark tasks spanning professional and daily computer use.
- Comprehensive Tooling: Provides scripts for running baseline agents, manual task examination, and result visualization.