facebookresearch/meta-agents-research-environments

What it solves

AIエージェントの評価は、現実世界の予測不可能性を反映していない静的なベンチマークに依存することがよくあります。このプロジェクトは、条件が変化し、新しい情報が現れる動的な環境でエージェントをテストするためのプラットフォームを提供します。これにより、エージェントはリアルタイムで戦略を適応させる必要があります。

How it works

AREは、「Apps」（メールやカレンダーなど）と「Events」（動的な変化）から構成されるシミュレーション環境を作成し、それらが複雑な「Scenarios」を形成します。エージェントは、ReAct (Reasoning + Acting) フレームワークを使用して、これらの環境と相互作用します。このプラットフォームには、マルチステップの推論と適応力をテストするための、10のユニバースにわたる800のシナリオを特徴とするGaia2ベンチマークが含まれています。

Who it’s for

自律型エージェントを構築しているAI研究者や開発者で、長期的なタスクや進化する情報を扱うエージェントの能力を厳格かつ現実的に評価する方法を必要としている人々。

Highlights

• Dynamic Scenarios: 時間とともに進化する環境へと、静的なQ&Aを超えて移行します。
• Gaia2 Benchmark: 複雑でマルチステップの推論（10ステップ以上）のために設計された、800のシナリオからなる包括的なスイート。
• Omnilingual-Gaia2: 10種類の異なる言語をサポートする多言語拡張。
• Interactive GUI: エージェントをリアルタイムで監視し、タスクの実行を可視化するために、タスク実行を Directed Acyclic Graphs (DAGs) として表示するウェブベースのインターフェース。
• Broad Model Support: LiteLLMとの統合により、さまざまなAPIベースおよびローカルのLLMプロバイダーを簡単に切り替えることができます。