xlang-ai/OSWorld

OSWorld – 真实桌面环境中的多模态智能体基准测试

这是什么 – OSWorld 是一个开源基准测试，提供功能完整的虚拟机（Ubuntu 和 Windows）和一个 Python 库（desktop-env），用于在开放式真实计算机任务上评估 多模态 AI 智能体（具有视觉、工具使用等功能的 LLM）。该仓库包含虚拟机镜像、统一环境 API，以及 300 多个任务规范，范围涵盖办公工作到软件开发。

主要组件

• DesktopEnv – 一个轻量级包装器，通过 VMware、VirtualBox、Docker (KVM)、Modal、Daytona 或 AWS 启动虚拟机，并暴露操作（鼠标/键盘、文件操作、操作系统命令）和观察（截图、OCR、UI 层次结构）。可通过 pip install desktop-env 安装。
• 基准数据 – 描述每个任务、所需凭据和评估指标的 JSON 文件。数据查看器 Web UI 让您可以浏览示例。
• 参考智能体 – 使用纯截图观察运行基线 GPT-4o 智能体的脚本（run.py, run_multienv.py）。支持并行执行以加速大规模评估。
• 评估工具 – show_result.py 和手动检查脚本，用于计算各领域成功率、生成视频并检查单个轨迹。

为何重要 – 大多数现有 LLM 基准测试仅限文本或模拟。OSWorld 让研究人员能够在 实际 操作系统中测试智能体，需要在实际约束（密码、网络代理、Google 账户 OAuth 等）下进行感知、推理和工具使用。该项目还提供公共排行榜（通过验证流程）和“OSWorld-Verified”更新，该更新提高了信号质量并增加了云规模并行评估。

快速开始

1. 安装 – 克隆仓库并运行 pip install -r requirements.txt（或仅 pip install desktop-env）。需要 Python ≥ 3.10。
2. 选择提供者 –
   • 桌面：安装 VMware Workstation/Fusion（或 VirtualBox）并运行 vmrun -T ws list 进行验证。
   • Docker：确保支持 KVM，安装 Docker，然后设置 provider_name=docker。
   • 云：按照 AWS/Modal/Daytona 指南获取沙盒虚拟机镜像。
3. 运行快速演示 – python quickstart.py 创建虚拟机、登录并执行简单的右键单击操作。
4. 运行基线 – 设置 OPENAI_API_KEY 并执行 README 中显示的 run.py 或 run_multienv.py 命令以评估 GPT-4o 智能体。
5. 检查结果 – python show_result.py 打印成功率；添加 --detailed 以获取每个任务的分数。

扩展基准测试

• 通过遵循 mm_agents 接口（参见其 README）实现您自己的智能体。
• 通过在 desktop_env/providers/ 下添加一个实现 reset、step 和 close 的类来插入新提供者。
• 通过拉取请求贡献新的任务定义或虚拟机镜像。

社区与支持 – 该项目维护 Discord，接受 PR，并为排行榜提交提供验证流程。最近的更新（2025-07-28）引入了 OSWorld-Verified，增加了 AWS 并行性，并优化了基准信号。

许可证 – Apache 2.0。

---

TL;DR – OSWorld 是一个真实操作系统、多模态智能体基准测试，带有现成的虚拟机环境、Python API、基线智能体和评估脚本，旨在衡量基于 LLM 的智能体实际使用计算机的能力。