centerforaisafety/hle
Humanity's Last Exam
해결하는 문제
AI 모델의 지식 한계를 평가하기 위한 고난도이고 폐쇄형의 학문적 벤치마크가 필요하다는 문제를 해결합니다. 기존 테스트 세트를 단순히 암기하는 것을 방지하고, 인간 지식의 최전선을 시험할 수 있도록 설계된 최후의 벤치마크입니다.
작동 방식
수학, 인문학, 자연과학 등 수십 가지 분야를 아우르는 2,500개의 멀티모달 질문 데이터셋을 제공합니다. 질문은 다지선다형 또는 단답형이며, 자동 채점이 가능합니다. openai-python 인터페이스를 사용한 간단한 평가 파이프라인을 통해 예측을 생성하고 결과를 평가할 수 있습니다.
대상 사용자
인간의 전문가 수준의 고도의 학문 지식을 평가해야 하는 AI 연구자 및 모델 개발자.
주요 특징
- 수십 가지 분야를 아우르는 멀티모달 벤치마크.
- 전문가가 개발한 2,500개의 질문.
- 모델 개발자가 학습 데이터에서 데이터셋을 필터링하여 데이터 오염을 방지할 수 있도록 카니어 스트링 포함.
- 다지선다형 및 단답형 응답에 대한 자동 채점.
관련
- 프로젝트
MMMU-Benchmark/MMMU30개의 다양한 과목에 걸친 대학 수준의 전문 지식과 복잡한 추론을 바탕으로 멀티모달 AI 모델을 평가하기 위한 대규모 다학제 벤치마크입니다.
- 프로젝트
rdi-berkeley/agents-last-examAgents' Last Exam (ALE)은 13개 산업 클러스터에 걸친 55개의 실제 전문 작업에서 AI 에이전트를 평가하는 오픈소스 벤치마크 프레임워크입니다. 샌드박스화된 Linux/Windows 환경(클라우드 VM, Docker, QEMU/KVM 등), 작업 설명을 에이전트에 전달하고 자율적으로 작업하게 한 다음 숨겨진 참조와 대조하여 출력을 채점하는 실행 오케스트레이터(ale_run)를 제공합니다. 점수는 재현 가능하며 로그는 모든 도구 호출과 스크린샷을 기록합니다. 이 프로젝트는 UC Berkeley RDI가 주도하며 Apache-2.0(코드) 및 CC-BY-4.0(데이터)으로 출시되었으며 웹사이트, 리더보드, 커뮤니티 리소스를 제공합니다.
- Dispatch
- 프로젝트
braintrustdata/autoevalsAutoevals는 다양한 LLM 기반, 통계 및 휴리스틱 방법을 사용하여 AI 모델 출력을 평가하기 위한 통합 인터페이스를 제공하는 라이브러리입니다. AI 애플리케이션의 테스트, 디버깅 및 성능 메트릭 정규화 프로세스를 간소화합니다.
- 프로젝트