xlang-ai/OSWorld

OSWorld – 실제 데스크톱 환경에서의 멀티모달 에이전트를 위한 벤치마크

정의 – OSWorld는 완전한 기능을 갖춘 가상 머신(Ubuntu 및 Windows)과 멀티모달 AI 에이전트(비전, 도구 사용 등을 갖춘 LLM)를 개방형 실제 컴퓨터 작업에서 평가하기 위한 Python 라이브러리(desktop-env)를 제공하는 오픈소스 벤치마크입니다. 저장소에는 VM 이미지, 통합 환경 API, 사무 작업부터 소프트웨어 개발까지 다양한 300개 이상의 작업 사양이 포함되어 있습니다.

주요 구성 요소

• DesktopEnv – VMware, VirtualBox, Docker(KVM), Modal, Daytona 또는 AWS를 통해 VM을 시작하고 작업(마우스/키보드, 파일 작업, OS 명령) 및 관찰(스크린샷, OCR, UI 계층)을 노출하는 얇은 래퍼입니다. pip install desktop-env로 설치할 수 있습니다.
• 벤치마크 데이터 – 각 작업, 필요한 자격 증명 및 평가 지표를 설명하는 JSON 파일. 데이터 뷰어 웹 UI를 통해 예제를 탐색할 수 있습니다.
• 참조 에이전트 – 순수 스크린샷 관찰을 사용하여 기준 GPT-4o 기반 에이전트를 실행하는 스크립트(run.py, run_multienv.py). 대규모 평가 속도를 높이기 위해 병렬 실행을 지원합니다.
• 평가 도구 – show_result.py 및 수동 검사 스크립트를 사용하여 도메인별 성공률을 계산하고, 비디오를 생성하고, 개별 궤적을 검사합니다.

중요한 이유 – 기존 LLM 벤치마크의 대부분은 텍스트 전용 또는 시뮬레이션입니다. OSWorld는 연구자가 실제 운영 체제에서 에이전트를 테스트할 수 있도록 하여 실제적인 제약(비밀번호, 네트워크 프록시, Google 계정 OAuth 등) 아래에서 지각, 추론 및 도구 사용을 요구합니다. 이 프로젝트는 또한 공개 리더보드(검증 프로세스를 통해)와 신호 품질을 개선하고 클라우드 규모의 병렬 평가를 추가하는 “OSWorld-Verified” 업데이트를 제공합니다.

시작하기

1. 설치 – 저장소를 클론하고 pip install -r requirements.txt를 실행합니다(또는 그냥 pip install desktop-env). Python ≥ 3.10이 필요합니다.
2. 공급자 선택 –
   • 데스크톱: VMware Workstation/Fusion(또는 VirtualBox)을 설치하고 vmrun -T ws list로 확인합니다.
   • Docker: KVM 지원을 확인하고 Docker를 설치한 다음 provider_name=docker를 설정합니다.
   • 클라우드: AWS/Modal/Daytona 가이드에 따라 샌드박스 VM 이미지를 얻습니다.
3. 빠른 데모 실행 – python quickstart.py는 VM을 만들고 로그인한 후 간단한 마우스 오른쪽 버튼 클릭 작업을 수행합니다.
4. 기준 실행 – OPENAI_API_KEY를 설정하고 README에 표시된 run.py 또는 run_multienv.py 명령을 실행하여 GPT-4o 에이전트를 평가합니다.
5. 결과 검사 – python show_result.py는 성공률을 출력합니다. --detailed를 추가하면 작업별 점수가 표시됩니다.

벤치마크 확장

• mm_agents 인터페이스를 준수하여 자신만의 에이전트를 구현합니다(README 참조).
• reset, step, close를 구현하는 desktop_env/providers/ 아래에 클래스를 추가하여 새 공급자를 플러그인합니다.
• 풀 리퀘스트를 통해 새 작업 정의 또는 VM 이미지를 기여합니다.

커뮤니티 및 지원 – 이 프로젝트는 Discord를 유지하고 PR을 수락하며 리더보드 제출을 위한 검증 파이프라인을 제공합니다. 최근 업데이트(2025-07-28)는 OSWorld-Verified를 도입하고 AWS 병렬 처리를 추가하고 벤치마크 신호를 개선했습니다.

라이선스 – Apache 2.0.

---

요약 – OSWorld는 즉시 실행 가능한 VM 환경, Python API, 기준 에이전트 및 평가 스크립트를 갖춘 실제 OS 멀티모달 에이전트 벤치마크로, LLM 기반 에이전트가 실제로 컴퓨터를 얼마나 잘 사용할 수 있는지 측정하는 것을 목표로 합니다.