AISBench/benchmark

AISBench Benchmark 은(는) OpenCompass 기반으로 구축된 AI 모델용 평가 도구로, 구성 체계, 데이터 세트 구조, 모델 백엔드와 호환되며, 서비스화된 모델(vLLM, Triton 등)에 대한 지원이 추가로 확장되었습니다.

두 가지 주요 평가 범주를 지원합니다:

• 정확도 평가: 서비스화된 모델 또는 로컬 모델의 QA, 추론, 멀티모달 등 벤치마크 데이터 세트(GSM8K, MMMU, SWE-Bench 등)에서의 정확도를 평가합니다.
• 성능 평가: 서비스화된 모델의 지연 시간, 처리량을 평가하며, 높은 동시성, 안정적인 성능, 실제 트래픽 시뮬레이션, prefix cache 히트율 테스트 등을 지원합니다.

주요 기능:

• 다중 작업 병렬 처리: 여러 정확도 또는 성능 평가 작업을 동시에 실행할 수 있어 효율성이 향상됩니다.
• 멀티모달 지원: 이미지, 비디오 생성 품질 평가(VBench, OneIG-Benchmark 등)를 지원합니다.
• 에이전트 평가: SWE-Bench, τ²-Bench 등 에이전트 벤치마크를 지원하며, Docker 컨테이너 내에서 실행할 수 있습니다.
• 풍부한 데이터 세트: 100개 이상의 오픈소스 데이터 세트가 내장되어 있으며, 사용자 정의 데이터 세트도 지원합니다.
• 유연한 구성: Python 구성 파일(권장) 또는 명령줄 인수의 두 가지 방법을 제공합니다.

설치 및 사용:

• Python 3.10/3.11/3.12를 지원하며, pip 설치(pip install ais_bench_benchmark) 또는 소스에서 설치할 수 있습니다.
• 먼저 OpenAI 호환 추론 서비스(vLLM 등)를 시작하고, 모델 서비스 주소와 데이터 세트를 지정한 후 ais_bench 명령을 실행하면 평가를 시작할 수 있습니다.

프로젝트 문서가 잘 갖춰져 있으며(ReadTheDocs), 중국어와 영어 버전이 제공됩니다. 전반적으로 프로덕션 환경을 위한 AI 모델 평가 도구로, 표준화된 평가 프로세스가 필요한 팀에 적합합니다.