ServiceNow/AgentLab

해결하는 문제

AgentLab은 웹 브라우저와 상호작용하는 에이전트의 개발, 테스트, 평가를 통합된 프레임워크로 제공함으로써 웹 에이전트 연구를 가속화하도록 설계되었습니다. 다양한 벤치마크에 걸쳐 대규모 실험을 실행하고, LLM API를 관리하며, 에이전트 행동 결과를 분석하는 과정을 간소화합니다.

작동 방식

AgentLab은 BrowserGym과 통합되어 에이전트 생성을 위한 빌딩 블록을 제공합니다. 대규모 병렬 실행을 위해 Ray를 사용하여 다양한 시드와 구성에서 수천 개의 작업을 실행할 수 있습니다. 프레임워크는 OpenRouter, OpenAI, Azure, 그리고 자체 호스팅된 TGI 모델을 지원하는 통합 LLM API를 제공합니다. 또한 실험 데이터의 지연 로딩 기능과 AgentXray(에이전트 행동과 스크린샷을 추적하는 Gradio 기반 시각화 도구)와 같은 결과 분석 도구도 포함되어 있습니다.

대상 사용자

주로 웹 탐색 에이전트를 개발하는 AI 연구자 및 개발자에게 적합하며, 소비자 제품으로서의 목적은 아닙니다.

주요 특징

• 광범위한 벤치마크 지원: WebArena, WorkArena, VisualWebArena, OSWorld 등 다양한 벤치마크를 지원합니다.
• 병렬 실행: Ray를 활용하여 에이전트 실험의 대규모 병렬화를 처리하며, 작업이 멈추는 것을 방지하기 위한 내장 타임아웃 관리 기능이 있습니다.
• 시각적 디버깅: AgentXray를 통해 에이전트 단계, 행동, 스크린샷의 시각적 추적 분석이 가능합니다.
• 재현성 도구: 전용 ReproducibilityAgent와 재현성 저널을 통해 소프트웨어 버전과 LLM 변경 사항을 추적할 수 있습니다.
• 통합 API: 다양한 LLM 제공업체와의 상호작용을 단일 인터페이스로 제공합니다.