fstandhartinger/jevbench

해결하는 문제

JevBench는 AI 의사 결정 모델을 평가하고 순위를 매기는 표준화된 방법을 제공합니다. 단순한 원시 지능뿐만 아니라 모델이 자신의 신뢰도를 얼마나 잘 이해하는지, 응답 속도, 실행 비용도 평가하여 다양한 시스템 간의 일관된 성능 측정 요구를 해결합니다.

작동 방식

JevBench는 고정되고 교차 검토된 의사 결정 작업 세트를 사용하여 모델을 평가합니다. 지능(우연을 보정한 정확도), 보정(모델의 신뢰도가 실제 정확도와 얼마나 일치하는지), 속도(지연 시간), 비용(1,000회 결정당 가격)의 네 가지 주요 축을 측정합니다. 이러한 지표는 가중 조화 평균을 사용하여 복합 점수로 결합됩니다. 벤치마크는 공개 및 비공개(비공개) 작업을 모두 사용하여 모델이 특별히 훈련되지 않은 데이터로 테스트되도록 보장합니다.

대상 사용자

이 프로젝트는 다양한 AI 의사 결정 모델의 성능, 효율성, 신뢰성을 비교해야 하는 개발자, 연구자, AI 실무자를 대상으로 합니다. Jev 호환 시스템을 다루거나 모델 트레이드오프에 대한 데이터 기반 통찰력을 찾는 사람들에게 특히 유용합니다.

주요 특징

• 지능, 보정, 속도, 비용의 네 가지 별도 축에서 모델을 평가합니다.
• 특정 성능 하한선을 밑도는 모델에 패널티를 부과하는 복합 점수 방법을 사용합니다.
• 버전 관리된 방법론을 갖춘 투명한 리더보드를 유지하여 역사적 비교 가능성을 보장합니다.
• 원시 추론 능력과 지연 시간, 비용 같은 프로덕션 준비 지표를 구분합니다.
• 재현 가능한 결과를 위한 명확한 데이터 카드와 매니페스트 파일을 제공합니다.