OSWorld: 실제 컴퓨터 환경에서 개방형 작업에 대한 멀티모달 에이전트를 평가하기 위한 벤치마크

해결하는 문제

OSWorld는 실제 컴퓨터 운영 체제 내에서 개방형 작업에 대한 멀티모달 AI 에이전트를 테스트하기 위한 표준화된 벤치마크와 환경을 제공합니다. 이는 AI 에이전트가 시뮬레이션되거나 제한된 환경이 아닌, 실제적인 설정에서 데스크톱을 얼마나 잘 탐색하고, 다양한 소프트웨어 애플리케이션을 사용하며, 복잡한 워크플로우를 완료할 수 있는지를 평가하는 데 따르는 어려움을 해결합니다.

작동 방식

이 프로젝트는 에이전트가 상호작용할 수 있는 제어된 가상 머신(VM) 환경(Ubuntu 및 Windows 지원)을 생성합니다. 확장 가능한 병렬 평가를 위해 VMware, VirtualBox, Docker, AWS를 포함한 여러 호스팅 제공업체를 지원합니다. 에이전트는 관찰 데이터(스크린샷 등)를를 받고 마우스 클릭이나 키보드 입력과 같은 동작을 실행하여 작업을 완료합니다. 시스템에는 다양한 도메인(Office, Daily, Professional)에 걸친 벤치마크 작업 세트와 환경의 최종 상태를 기반으로 에이전트의 성공률을 점수화하는 검증 시스템이 포함되어 있습니다.

대상 사용자

멀티모달 에이전트를 구축하는 AI 연구자 및 개발자, 특히 "컴퓨터 사용" 능력, GUI 탐색 및 자율적인 소프트웨어 상호작용에 집중하는 이들을 위해 설계되었습니다.

주요 특징

• 실제 OS 환경: 단순화된 시뮬레이터 대신 실제 가상 머신을 사용합니다.
• 멀티 플랫폼 지원: VMware, VirtualBox, Docker, AWS와 호환됩니다.
• 확장 가능한 평가: 작업의 병렬 실행을 지원하여 평가 시간을 크게 단축합니다.
• 다양한 작업 세트: 사무 생산성, 일상 활동 및 전문 소프트웨어 사용에 걸친 광범위한 작업을 포함합니다.
• 검증 도구: 결과 분석, 에이전트 궤적의 비디오 녹화 및 수동 작업 검토를 위한 스크립트를 제공합니다.