xlang-ai/OSWorld-V2

解决的问题

OSWorld-V2 是一个旨在评估 AI 代理在真实操作系统环境中交互能力的基准测试。它提供了一种标准化的方法，用于测试代理在桌面操作系统上执行复杂任务的能力，包括与各种应用程序、模拟网站和 GitLab 实例的交互，同时通过限制任务定义和资源的访问来防止基准泄露。

工作原理

该项目使用虚拟机（通过 Docker 或 AWS）运行 Ubuntu，提供一个受控环境。它使用一组通过 Hugging Face 分发的受保护 Python 任务类和资源来定义目标并评估成功。代理通过一个后端与操作系统交互，该后端会捕获屏幕截图和观测数据。为确保可复现性，该基准测试使用固定版本（如 v2.1），同步代码、任务文件、资源和虚拟机镜像。它还包含模拟网站和自托管 GitLab 设置，以在不依赖实时、不稳定外部网站的情况下模拟真实的基于网络的工作流。

适用对象

适用于开发多模态 AI 代理（如基于 Claude、GPT 或 Qwen 的代理）的研究人员和开发者，这些代理旨在操作计算机并自动化桌面级任务。

主要亮点

• 多提供方支持：兼容本地 Linux 服务器的 Docker 和大规模并行评估的 AWS。
• 防止泄露：任务类和资源通过 Hugging Face 进行保护，防止代理从训练数据中找到答案。
• 可复现的发布版本：采用严格的版本控制系统（如 v2.1），固定所有组件，包括虚拟机镜像和任务资源。
• 真实模拟：包含模拟网站和 GitLab 集成，用于测试复杂的多应用工作流。
• 轨迹分析：提供工具用于手动检查任务和查看轨迹，以调试代理行为。