haowang02/codex-candy-eval

해결 과제

이 도구는 특정 수학 문제에 대해 테스트를 수행하여 Codex 모델의 성능과 추론 일관성을 평가하도록 돕습니다.

작동 방식

이 스크립트는 로컬 Codex CLI를 사용하여 정답이 21인 "사탕 수학 문제"에 대한 배치 테스트를 실행합니다. 사용된 추론 토큰 수를 자동으로 추적하고, 모델 출력에 숫자 21이 포함되어 있는지 확인하여 성공률을 계산합니다.

대상 사용자

Codex CLI가 설치되어 있고 다양한 모델 버전이나 추론 노력 수준 설정을 벤치마킹하려는 사용자를 위해 설계되었습니다.

주요 특징

• 타사 종속성이 전혀 필요하지 않습니다.
• 사용자 정의 가능한 모델 선택 및 추론 노력 수준(low, medium, high, xhigh)을 지원합니다.
• 통계 데이터를 수집하기 위한 다중 테스트 반복을 허용합니다.
• wget 또는 curl을 통한 간단한 한 줄 실행 명령을 제공합니다.