StonyBrookNLP/appworld

解決的問題

AppWorld 為需要透過 API 和程式碼與軟體互動的 AI 代理提供一個真實且可執行的測試環境。研究人員與開發者可在不受真實服務使用成本或風險影響的情況下，在受控但逼真的環境中衡量其代理處理複雜多步任務的能力。

工作原理

AppWorld 模擬了一個約 100 人使用 9 個日常應用（如 Spotify 或 Venmo）的世界，透過 457 個 HTTP API 進行互動。每個任務定義了監督者、指示與初始狀態（資料庫與時間）。代理必須自主撰寫並執行呼叫這些 API 的程式碼，使用 ApiDocs 和 Supervisor 等輔助應用來完成指示。引擎會追蹤動作，根據真實設定評估正確性，並記錄輸出以供排行榜提交。該環境為沙盒化，可使用 FastAPI 的測試用戶端進行無伺服器執行，或透過 Docker 實現隔離執行。

適用對象

建構與比較 LLM 驅動代理的研究人員，特別是專注於函數呼叫、工具使用與互動式程式設計者。也適用於測試代理框架的開發者，或研究模型在處理現實、多步數位任務方面表現的任何人。

特色亮點

• 高保真模擬：9 個真實應用、457 個 API 和約 100 個具有關係的模擬人物。
• 自然且多樣化的任務，需要豐富的互動式程式設計與 API 呼叫。
• 全面的工具鏈：提供 CLI 用於安裝、資料下載、探索、評估與排行榜提交。
• 包含加密與 Canary 字串，以降低洩漏至訓練語料庫的風險。
• 支援多種代理框架，並包含 MCP 伺服器/用戶端整合。
• 活躍的排行榜與詳盡的文件、指南與影片。