facebookresearch/meta-agents-research-environments

Meta Agents Research Environments is a comprehensive platform designed to evaluate AI agents in dynamic, realistic scenarios. Unlike static benchmarks, this platform introduces evolving environments where agents must adapt their strategies as new information becomes available, mirroring real-world challenges.

해결하는 문제

AI 에이전트 평가는 현실 세계의 예측 불가능성을 반영하지 못하는 정적 벤치마크에 의존하는 경우가 많습니다. 이 플랫폼은 새로운 정보가 등장할 때 에이전트가 전략을 적응시켜야 하는 동적이고 진화하는 환경을 제공하며, 복잡하고 현실에 뿌리를 둔 작업을 완료하기 위해 다단계 추론(일반적으로 10단계 이상)이 필요합니다.

작동 방식

시스템은 네 가지 핵심 구성 요소를 결합하여 현실적인 시나리오를 시뮬레이션합니다:

에이전트: 환경과 상호작용하기 위해 ReAct(추론 + 행동) 프레임워크를 사용하는 AI 엔티티.
앱: 캘린더, 이메일, 파일 시스템 등과 같은 상호작용 가능한 앱으로, 에이전트에게 API를 제공합니다.
이벤트: 시간이 지남에 따라 환경 상태를 변화시키는 동적 트리거입니다.
시나리오: 앱과 이벤트를 통합하고 성공을 측정하기 위한 특정 검증 로직을 포함하는 통합 작업입니다.

Gaia2 벤치마크를 포함하며, 10개의 "유니버스"에 걸쳐 800개의 시나리오를 제공합니다. 또한 다국어 확장인 Omnilingual-Gaia2도 지원합니다. 또한 에이전트가 관련된 시나리오 체인에 걸쳐 메모리와 상태를 유지하는 Sequential Gaia2도 지원합니다.

대상 사용자

다단계 추론, 적응성, 현실 세계에 뿌리를 둔 능력을 단순한 프롬프트-응답 쌍을 넘어서 테스트하고자 하는 AI 연구자 및 개발자.

주요 특징

동적 벤치마크: 정적 테스트를 넘어 작업 중에 진화하는 환경을 제공합니다.
Gaia2 스위트: 여러 도메인에 걸쳐 800개의 시나리오로 구성된 포괄적인 평가 세트입니다.
다국어 지원: Omnilingual-Gaia2 확장 기능을 통해 10개의 다른 언어에서 에이전트 평가가 가능합니다.
인터랙티브 GUI: 실시간 에이전트 모니터링과 시나리오 실행의 DAG 시각화를 가능하게 하는 웹 기반 인터페이스입니다.
광범위한 모델 지원: LiteLLM과의 통합을 통해 다양한 AI 모델 제공업체 및 로컬 배포를 지원합니다.