StonyBrookNLP/appworld

何を解決するか

AppWorldは、APIやコードを介してソフトウェアと対話する必要があるAIエージェントのための現実的で実行可能なテストベッドを提供します。研究者や開発者は、実サービスを使用するコストやリスクを伴わずに、制御されたが現実的な環境で、エージェントが複雑で多段階のタスクをどのように処理するかを測定できます。

動作方法

AppWorldは、約100人の人々が9つの日常的なアプリ（SpotifyやVenmoなど）を457のHTTP API経由で使用する世界をシミュレートしています。各タスクは、監視者、指示、および初期状態（データベースと時刻）を定義します。エージェントは、ApiDocsやSupervisorなどの補助アプリを使用して、これらのAPIを呼び出すコードを自律的に記述・実行し、指示を達成する必要があります。エンジンは行動を追跡し、正解の設定と照合して正しさを評価し、リーダーボード提出用に出力を記録します。環境はサンドボックス化されており、FastAPIのテストクライアントを使用してサーバーレスで実行可能、またはDockerで隔離実行が可能です。

対象者

関数呼び出し、ツール利用、インタラクティブコーディングに焦点を当てたLLM駆動エージェントの構築・比較を行う研究者。また、エージェントフレームワークのテストや、モデルが現実的で多段階のデジタルタスクをどれだけうまく処理できるかを研究するすべての人にとっても有用です。

特徴

• 高精細なシミュレーション：9つの現実的なアプリ、457のAPI、関係を持つ約100人のシミュレートされた人々。
• 豊かでインタラクティブなコーディングとAPI呼び出しを必要とする自然で多様なタスク。
• 総合的なツールキット：インストール、データダウンロード、探索、評価、リーダーボード提出用のCLI。
• 暗号化とカナリア文字を含み、訓練コーパスへの漏洩リスクを低減。
• 複数のエージェントフレームワークをサポートし、MCPサーバー/クライアント統合を備える。
• 活発なリーダーボードと、広範なドキュメント、ガイド、動画を提供。