xlang-ai/OSWorld

[NeurIPS 2024] OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments

What it solves

OSWorld 提供一个标准化的基准测试和环境，评估多模态 AI 代理在真实计算机操作系统中执行开放式任务的能力。它解决了在真实桌面环境中测试代理的难题，因为在该环境中代理必须与各种软件应用和系统设置交互。

How it works

该项目创建一个虚拟化的桌面环境（支持 Ubuntu 和 Windows），AI 代理可以与之交互。它支持多种托管提供商，包括 VMware、VirtualBox、Docker、AWS 和 Daytona，允许本地和云端的并行评估。代理接收观察（如截图），并执行动作（如鼠标点击或键盘输入）来完成任务。系统包含跨不同领域（Office、Daily、Professional）的基准任务集合，并提供记录执行轨迹和计算成功率的工具。

Who it’s for

它面向需要构建多模态代理和“计算机使用”AI 的研究人员和开发者，提供一种严格的方法来衡量模型在真实软件和操作系统中导航的效果。

Highlights

  • Multi-Platform Support: Compatible with VMware, VirtualBox, Docker, AWS, and Daytona.
  • Parallel Evaluation: AWS integration allows for large-scale parallelization to significantly reduce evaluation time.
  • Real-World Tasks: Includes a diverse set of benchmark tasks spanning professional and daily computer use.
  • Comprehensive Tooling: Provides scripts for running baseline agents, manual task examination, and result visualization.