arcprize/arc-agi-benchmarking

해결하는 문제

이 프로젝트는 ARC-AGI(Abstraction and Reasoning Corpus) 작업에서 AI 모델을 벤치마킹하기 위한 표준화된 프레임워크를 제공합니다. 다양한 모델 제공업체를 통해 복잡한 추론 작업을 실행하는 과정을 단순화하며, API 레이트 제한, 재시도, 성능 스코어링과 같은 기술적 부담을 관리합니다.

작동 방식

시스템은 OpenAI, Anthropic, Gemini 등 다양한 AI 제공업체와 통신하기 위한 모델 어댑터 세트를 사용합니다. 사용자는 YAML 파일에 모델 ID, 제공업체, 온도와 같은 매개변수를 지정하여 모델 구성 설정을 정의합니다. 프레임워크는 ARC-AGI 데이터셋의 작업을 실행하고, 레이트 제한을 피하기 위해 외부 요청의 속도를 조절하며, 모델의 응답을 제출물로 저장합니다. 마지막으로, 전용 스코어링 스크립트가 이러한 제출물을 정답과 비교하여 정확도 메트릭을 계산합니다.

대상 사용자

• AI 연구자: LLM의 일반 지능과 추론 능력을 테스트하고자 하는 분들.
• 모델 개발자: 자신의 모델을 ARC-AGI 벤치마크와 비교하고자 하는 분들.
• 벤치마크 엔지니어: 다양한 데이터셋에서 여러 모델 구성 설정을 동시에 실행할 수 있는 확장 가능한 방법이 필요한 분들.

주요 특징

• 다중 제공업체 지원: OpenAI, Anthropic, Gemini, Fireworks, Grok, OpenRouter 등 다양한 제공업체를 위한 내장 어댑터.
• 병렬 실행: 공유된 레이트 제한 관리와 함께 여러 모델 구성 및 데이터셋을 동시에 실행할 수 있습니다.
• 강력한 오류 처리: 통합된 레이트 제한, tenacity 기반 재시도, 작업 수준의 타임아웃.
• 상세한 로깅: 요청 및 응답 페이로드를 포함한 모든 작업에 대해 자동으로 원시 API JSONL 로그 생성.
• 확장 가능한 아키텍처: 새로운 모델 구성이나 사용자 정의 제공업체 어댑터를 쉽게 추가할 수 있는 구조.