facebookresearch/meta-agents-research-environments

何を解決するか

AIエージェントの評価は、現実世界の予測不可能性を反映しない静的ベンチマークに依存しがちです。このプラットフォームは、エージェントが新しい情報の出現に応じて戦略を適応させる必要がある、動的で進化する環境を提供し、複雑で現実に根ざしたタスクを完了するための多段階推論（通常10ステップ以上）を要求します。

動作方法

システムは以下の4つのコアコンポーネントを組み合わせることで、現実的なシナリオをシミュレートします：

• エージェント：環境と相互作用するためのReAct（推論＋行動）フレームワークを使用するAIエントリティ。
• アプリ：カレンダー、メール、ファイルシステムなど、エージェントにAPIを提供するシミュレートされたインタラクティブアプリ。
• イベント：時間とともに環境状態を変化させる動的トリガー。
• シナリオ：アプリとイベントを統合し、成功を測定するための特定の検証ロジックを持つタスク。

Gaia2ベンチマークを含み、10の「ユニバース」にまたがる800のシナリオを提供。また、Omnilingual-Gaia2という多言語拡張もサポート。さらに、エージェントが関連するシナリオの連鎖にわたって記憶と状態を保持するSequential Gaia2もサポートしています。

対象ユーザー

多段階推論、適応性、現実世界への根ざしを、単純なプロンプト・レスポンスペアを超えて検証したいAI研究者や開発者。

特徴

• 動的ベンチマーク：静的テストから脱却し、タスク中に進化する環境を提供。
• Gaia2スイート：複数のドメインにまたがる800のシナリオからなる包括的な評価セット。
• 多言語対応：Omnilingual-Gaia2拡張により、10の異なる言語でのエージェント評価が可能。
• インタラクティブGUI：リアルタイムのエージェント監視とシナリオ実行のDAG可視化を可能にするWebベースのインターフェース。
• 広範なモデル対応：LiteLLMとの統合により、さまざまなAIモデルプロバイダーおよびローカルデプロイメントをサポート。