OSWorld: 実際のコンピュータ環境でオープンエンドタスクを評価するマルチモーダルエージェント用ベンチマーク

解決する課題

OSWorld は、実際のコンピュータオペレーティングシステム内でオープンエンドタスクを実行するマルチモーダル AI エージェントをテストするための標準化されたベンチマークと環境を提供します。デスクトップを実際に操作し、さまざまなソフトウェアアプリケーションを使用し、シミュレートされた環境や制限された環境ではなく、現実的な設定で複雑なワークフローを完了できるかどうかを評価することの難しさに対処します。

仕組み

このプロジェクトは、エージェントが対話できる制御された仮想マシン (VM) 環境（Ubuntu と Windows をサポート）を作成します。VMware、VirtualBox、Docker、AWS など複数のホスティングプロバイダーに対応しており、スケーラブルな並列評価が可能です。エージェントは観測（スクリーンショットなど）を受け取り、マウスクリックやキーボード入力といったアクションを実行してタスクを完了します。システムには、Office、Daily、Professional といった異なるドメインにまたがるベンチマークタスクのセットと、環境の最終状態に基づいてエージェントの成功率をスコアリングする検証システムが含まれています。

対象者

コンピュータ利用能力、GUI ナビゲーション、そして自律的なソフトウェアインタラクションに焦点を当てたマルチモーダルエージェントを構築する AI 研究者や開発者向けに設計されています。

ハイライト

• 実際の OS 環境: 簡易シミュレータではなく、実際の仮想マシンを使用。
• マルチプラットフォーム対応: VMware、VirtualBox、Docker、AWS に対応。
• スケーラブルな評価: タスクの並列実行をサポートし、評価時間を大幅に短縮。
• 多様なタスクセット: オフィス生産性、日常業務、プロフェッショナルソフトウェア利用など、幅広いタスクを含む。
• 検証ツール: 結果分析スクリプト、エージェントの軌跡を録画するビデオ、手動タスク検査を提供。

---

SUMMARY: OSWorld は、Ubuntu や Windows などの実際のコンピュータオペレーティングシステム上でオープンエンドタスクを実行するマルチモーダル AI エージェントを評価するためのベンチマークと環境です。

TITLE: OSWorld: 実際のコンピュータ環境でオープンエンドタスクを評価するマルチモーダルエージェント用ベンチマーク