facebookresearch/meta-agents-research-environments

What it solves

AI 에이전트 평가는 종종 실제 세계의 예측 불가능성을 반영하지 못하는 정적 벤치마크에 의존합니다. 이 프로젝트는 조건이 변하고 새로운 정보가 나타나 에이전트가 실시간으로 전략을 조정해야 하는 동적인 환경에서 에이전트를 테스트할 수 있는 플랫폼을 제공합니다.

How it works

ARE는 "Apps" (이메일이나 캘린더와 같은) 및 "Events" (동적 변화)로 구성되어 복잡한 "Scenarios"를 형성하는 시뮬레이션 환경을 생성합니다. 에이전트는 ReAct (Reasoning + Acting) 프레임워크를 사용하여 이러한 환경과 상호작용합니다. 이 플랫폼에는 다단계 추론 및 적응성을 테스트하기 위해 10개의 유니버스를 가로질러 800개의 시나리오를 특징으로 하는 Gaia2 벤치마크가 포함되어 있습니다.

Who it’s for

자율 에이전트를 구축하는 AI 연구원 및 개발자로서, 에이전트의 장기 과업 수행 능력과 진화하는 정보를 처리하는 능력을 평가하기 위한 엄격하고 현실적인 방법이 필요한 분들을 위한 것입니다.

Highlights

• Dynamic Scenarios: 시간이 지남에 따라 진화하는 환경으로 정적 Q&A를 넘어섭니다.
• Gaia2 Benchmark: 복잡한 다단계 추론(10단계 이상)을 위해 설계된 800개의 시나리오로 구성된 포괄적인 제품군입니다.
• Omnilingual-Gaia2: 10개의 서로 다른 언어를 지원하는 다국어 확장 기능입니다.
• Interactive GUI: 에이전트를 실시간으로 모니터링하고 작업 실행을 Directed Acyclic Graphs (DAGs)로 시각화하는 웹 기반 인터페이스입니다.
• Broad Model Support: LiteLLM과의 통합을 통해 다양한 API 기반 및 로컬 LLM 제공업체 간의 간형한 전환이 가능합니다.