InternLM/WildClawBench

해결하는 문제

WildClawBench는 단순한 함수 호출이나 JSON 파싱과 같은 고립된 능력 테스트를 넘어, AI 에이전트가 복잡한 엔드투엔드 실세계 작업을 수행할 수 있는지를 평가하도록 설계되었습니다. 벤치마크 성능과 실제 유용성 사이의 격차를 해소하기 위해, 자율적인 계획과 오류 복구가 필요한 고위험 장기 과제를 통해 라이브 환경에서 에이전트를 테스트합니다.

작동 방식

에이전트는 웹 브라우저, bash 터미널, 파일 시스템, 이메일, 캘린더와 같은 실제 도구에 접근할 수 있는 라이브 OpenClaw 환경(개인 AI 어시스턴트 프레임워크)에 배포됩니다. 이 벤치마크는 생산성 플로우, 코드 인텔리전스, 사회적 상호작용, 검색 및 검색, 창의적 종합, 안전 정렬의 6개 카테고리에 걸쳐 60개의 독창적이고 수작업으로 구축된 과제로 구성됩니다.

재현성을 보장하고 데이터 누출을 방지하기 위해 각 과제는 격리된 Docker 컨테이너에서 실행됩니다. 시스템은 네 가지 다른 에이전트 하네스(OpenClaw, Claude Code, Codex CLI, Hermes Agent)를 지원하여 연구자가 기반 LLM의 능력과 에이전트 프레임워크가 제공하는 스캐폴딩을 구별할 수 있도록 합니다.

대상 사용자

이 도구는 실세계 시나리오에서 모델의 자율성, 멀티모달 능력, 안전성을 측정하기 위해 엄격하고 실용적인 평가 스위트를 필요로 하는 에이전틱 시스템을 구축하는 AI 연구자 및 개발자를 위한 것입니다.

하이라이트

• 실세계 환경: 모크 대신 실제 도구를 사용하여 실제 에이전시를 테스트합니다.
• 다양한 과제 스위트: 축구 하이라이트 클리핑부터 이메일 협상, 문서화되지 않은 코드 디버깅까지 모든 것을 다루는 60개의 독창적인 과제.
• 하네스 비교: 모델 성능을 스캐폴딩과 분리하기 위해 네 가지 다른 에이전트 프레임워크를 지원합니다.
• 격리된 실행: 재현성과 보안을 위해 각 과제는 자체 Docker 컨테이너에서 실행됩니다.
• 멀티모달 테스트: 비디오 이해와 크로스모달 종합이 필요한 과제를 포함합니다.