xlang-ai/OSWorld-V2

해결하는 문제

OSWorld-V2는 실제 운영 체제 환경과 상호작용할 수 있는 AI 에이전트의 능력을 평가하기 위해 설계된 벤치마크입니다. 다양한 응용 프로그램, 모의 웹사이트, GitLab 인스턴스와의 상호작용을 포함한 복잡한 작업을 데스크탑 OS에서 수행하는 능력을 테스트할 수 있는 표준화된 방법을 제공하며, 태스크 정의와 자산을 게이트하여 벤치마크 유출을 방지합니다.

작동 방식

이 프로젝트는 Ubuntu를 실행하는 가상 머신(Docker 또는 AWS를 통해)을 사용하여 통제된 환경을 제공합니다. Hugging Face를 통해 배포되는 게이트된 Python 태스크 클래스와 자산을 사용하여 목표를 정의하고 성공 여부를 평가합니다. 에이전트는 스크린샷과 관측을 캡처하는 백엔드를 통해 OS와 상호작용합니다. 재현성을 보장하기 위해 코드, 태스크 파일, 자산, VM 이미지를 동기화하는 핀된 릴리스를 사용합니다. 또한 실질적인 웹 기반 워크플로우를 시뮬레이션하기 위해 실시간으로 불안정한 외부 사이트에 의존하지 않는 모의 웹사이트와 자체 호스팅 GitLab 설정도 포함되어 있습니다.

대상 사용자

Claude, GPT, Qwen 기반의 멀티모달 AI 에이전트(컴퓨터를 조작하고 데스크탑 수준의 작업을 자동화하기 위해 설계됨)를 개발하거나 연구하는 연구자 및 개발자에게 적합합니다.

주요 특징

• 다중 제공자 지원: 로컬 리눅스 서버용 Docker 및 대규모 병렬 평가용 AWS 모두 호환.
• 유출 방지: 태스크 클래스와 자산은 Hugging Face에서 게이트되어 에이전트가 학습 데이터에서 답을 찾는 것을 방지합니다.
• 재현 가능한 릴리스: VM 이미지와 태스크 자산을 포함한 모든 구성 요소를 핀된 버전(예: v2.1)으로 고정하는 엄격한 버전 관리 시스템 사용.
• 현실적인 시뮬레이션: 복잡한 다중 앱 워크플로우를 테스트하기 위해 모의 웹사이트와 GitLab 통합 포함.
• 트래잭터리 분석: 수동 태스크 검토 및 트래잭터리 시각화 도구를 제공하여 에이전트 행동을 디버깅할 수 있습니다.