OSWorld: 一个在真实计算机环境中评估多模态智能体在开放式任务上表现的基准测试

它解决了什么问题

OSWorld 为在真实计算机操作系统中测试多模态 AI 智能体在开放式任务上的表现提供了一个标准化的基准测试和环境。它解决了评估 AI 智能体在现实设置中（而非在模拟或受限环境中）实际导航桌面、使用各种软件应用程序并完成复杂工作流的能力方面的困难。

它是如何工作的

该项目创建了一个受控的虚拟机 (VM) 环境（支持 Ubuntu 和 Windows），智能体可以与之交互。它支持包括 VMware、VirtualBox、Docker 和 AWS 在内的多种托管提供商，以实现可扩展的并行评估。智能体接收观测值（例如截图）并执行动作（例如鼠标点击或键盘输入）以完成任务。该系统包含了一套跨不同领域（Office、Daily、Professional）的基准测试任务，以及一个用于根据环境的最终状态为智能体的成功率评分的验证系统。

它是面向谁的

它专为构建多模态智能体的 AI 研究人员和开发人员设计，特别是那些专注于“计算机使用”能力、GUI 导航和自主软件交互的人员。

亮点

• 真实 OS 环境：使用实际的虚拟机而非简化的模拟器。
• 多平台支持：兼容 VMware、VirtualBox、Docker 和 AWS。
• 可扩展的评估：支持任务的并行执行，从而显著缩短评估时间。
• 多样化的任务集：涵盖了办公生产力、日常活动和专业软件使用的广泛任务。
• 验证工具：提供用于结果分析、智能体轨迹视频录制以及人工任务检查的脚本。