OSWorld: 一個用於在真實電腦環境中評估多模態代理於開放式任務上的基準測試

它解決了什麼問題

OSWorld 提供了一個標準化的基準測試和環境，用於在真實電腦作業系統中測試多模態 AI 代理於開放式任務上的表現。它解決了評估 AI 代理在現實設定中（而非在模擬或受限的環境中）實際導航桌面、使用各種軟體應用程式以及完成複雜工作流程的能力之困難度。

運作方式

該專案建立了一個受控的虛擬機器 (VM) 環境（支援 Ubuntu 和 Windows）供代理進行互動。它支援多種託管提供商，包括 VMware、VirtualBox、Docker 和 AWS，以實現可擴展的並行評估。代理會接收觀察結果（例如螢幕截圖）並執行動作（例如滑鼠點擊或鍵盤輸入）來完成任務。系統包含了一套涵蓋不同領域（Office、Daily、Professional）的基準測試任務，以及一套驗證系統，根據環境的最終狀態來為代理的成功率進行評分。

對象是誰

它專為開發多模態代理的 AI 研究人員和開發人員設計，特別是那些專注於「電腦使用」能力、GUI 導航和自主軟體互動的人員。

重點亮點

• 真實 OS 環境：使用實際的虛擬機器而非簡化的模擬器。
• 多平台支援：相容於 VMware、VirtualBox、Docker 和 AWS。
• 可擴展的評估：支援任務的並行執行，以顯著減少評估時間。
• 多樣化的任務集：包含涵蓋辦公生產力、日常活動和專業軟體使用的廣泛任務。
• 驗證工具：提供用於結果分析、代理軌跡的影片錄製以及手動任務檢查的腳本。