Agents' Last Exam (ALE)

개요

Agents' Last Exam (ALE)은 실제 세계의 작업자처럼 작동할 수 있는 AI 에이전트를 평가하기 위한 오픈소스 벤치마크 프레임워크입니다. 다음을 제공합니다:

55개의 구체적인 전문 작업(예: 데이터 입력, 비디오 편집, 소프트웨어 빌드)을 13개의 산업 클러스터로 그룹화했으며, 모두 미국 O*NET 직업 분류에서 파생되었습니다.
샌드박스화된 실행 환경(Linux, Windows, GPU, Docker, QEMU/KVM 또는 클라우드 VM)으로 인간이 사용하는 소프트웨어를 충실히 재현합니다.
런타임 오케스트레이터(ale_run)는 샌드박스를 프로비저닝하고 작업 설명을 에이전트에 전달하며 에이전트가 자율적으로 작업하게 한 다음 숨겨진 참조와 대조하여 결과를 채점합니다.
모든 도구 호출, 스크린샷, 파일 변경 및 최종 점수의 통일된 로깅으로 실행을 재현 가능하고 감사 가능하게 만듭니다.

목표는 에이전트가 정적 질문에 답하는 것뿐만 아니라 경제적으로 가치 있는 장기 워크플로에서 실제로 작업을 완료할 수 있는지 측정하는 것입니다.

중요성

실제 세계 관련성 – 작업은 실제 직업에서 가져오고 업계 전문가가 검증하므로 점수는 경제적 생산성을 반영합니다.
장기적이고 다중 모드 – 에이전트는 여러 단계에 걸쳐 명령줄과 GUI 작업을 모두 처리해야 하며, 이는 대부분의 기존 벤치마크가 무시하는 부분입니다.
표준화된 비교 – 공통 샌드박스, 숨겨진 참조 및 채점 스키마를 제공함으로써 ALE는 연구자들이 매우 다른 에이전트 아키텍처(Claude Code, Codex, Open-claw 등)를 동일한 기준에서 비교할 수 있게 합니다.
오픈 데이터 및 코드 – 프레임워크, 작업 정의 및 참조 구현은 모두 허용적 라이선스(코드는 Apache-2.0, 데이터는 CC-BY-4.0)로 제공됩니다.

시작하기

리포지토리를 클론하고 호스트 종속성을 설치합니다(Ubuntu/Debian 지원).

git clone https://github.com/rdi-berkeley/agents-last-exam.git
cd agents-last-exam
bash env/install_host_deps.sh
uv sync --all-packages --locked
bash env/verify_host_env.sh

실험 구성 – 예제 YAML을 복사하고 클라우드 자격 증명을 입력(또는 로컬 공급자 선택)하고 작업 목록을 선택합니다.
```
cp example_exp.yaml my_experiment.yaml
# my_experiment.yaml 편집 → provider, tasks, output_path 등 설정
```

드라이런 실행으로 모든 것을 확인한 다음 전체 벤치마크를 시작합니다.

uv run python -m ale_run run my_experiment.yaml --dry-run
uv run python -m ale_run run my_experiment.yaml

결과 검사 – ALE는 통합된 궤적(단계별 작업, 도구 호출, 스크린샷)을 최종 숫자 점수 및 원시 로그와 함께 저장합니다. 모든 실행을 재생하거나 감사할 수 있습니다.

공급자 옵션(하나 선택)

공급자	일반적인 용도	문서
Google Cloud VMs	Ubuntu/Windows + GPU 이미지에서 확장 가능한 배치 실행	`docs/quickstart.md`
AWS EC2 + S3	기존 CPU 프로필 워크로드	AWS 가이드
Alibaba Cloud ECS + OSS	AWS와 동일, Ali-Yun 사용자용	Alibaba 가이드
Linux 호스트의 QEMU/KVM	클라우드 비용 없는 CPU 전용 VM	로컬 가이드
Docker(Ubuntu 하위 집합)	가벼운 로컬 테스트	Docker 가이드
기존 샌드박스	이미 제어하는 머신에 대한 디버깅	정적 가이드

배후

UC Berkeley RDI(연구, 개발 및 혁신)가 RDI 재단과 협력합니다.
이 프로젝트는 대규모 연구자 팀(인용의 전체 저자 목록 참조)이 공동으로 주도하며 수백 명의 업계 전문가의 의견을 받아 구축되었습니다.
공개 웹사이트, 메일링 리스트, Discord 커뮤니티 및 정기적인 릴리스가 생태계를 활성화합니다.

더 많은 정보

웹사이트 및 문서: https://agents-last-exam.org/ (전체 설계 문서, 공급자 가이드, 작업 갤러리)
논문(arXiv): https://arxiv.org/abs/2606.05405
리더보드 및 데모 실행: https://agenthle.org/leaderboard 및 https://agenthle.org/demo
데이터 및 모델 허브: https://huggingface.co/agents-last-exam (작업 데이터, VM 이미지)
라이선스: 코드는 Apache-2.0, 벤치마크 데이터는 CC-BY-4.0.

요약

Agents' Last Exam은 컴퓨터(CLI + GUI)를 제어할 수 있는 모든 AI 에이전트를 실제적이고 경제적으로 가치 있는 작업에서 테스트할 수 있는 포괄적인 오픈소스 벤치마크입니다. 샌드박스 프로비저닝, 숨겨진 참조 채점 및 재현 가능한 로그 생성을 처리하여 일반적인 도구 사용 에이전트 연구를 위한 필수 플랫폼입니다.

rdi-berkeley/agents-last-exam

Agents' Last Exam (ALE)

개요

중요성

시작하기

공급자 옵션(하나 선택)

배후

더 많은 정보

요약

관련