modelscope/evalscope
A streamlined and customizable framework for efficient large model (LLM, VLM, AIGC) evaluation and performance benchmarking.
해결하는 문제
EvalScope는 대규모 언어 모델(LLMs) 및 기타 최첨단 AI 모델을 평가하기 위한 통합된 원스톱 프레임워크를 제공합니다. 개별 벤치마크, 스트레스 테스트, 시각화 도구를 수동으로 실행할 필요 없이 능력 평가, 추론 성능 테스트, 결과 분석을 단일 명령줄 인터페이스로 통합합니다.
작동 방식
EvalScope는 여러 평가 백엔드(OpenCompass, VLMEvalKit, RAGEval 등)와 내장 벤치마크(MMLU, C-Eval, GSM8K 등)를 통합하는 오케스트레이션 계층으로 작동합니다. 온라인 API(OpenAI 호환) 또는 로컬 모델 가중치를 통한 모델 평가를 지원합니다. 에이전트 평가를 위해 제어 가능한 다중 턴 AgentLoop를 사용하며, 플러그 가능한 전략과 Docker 샌드박스를 결합하여 모델의 추론 궤적을 기록하고 시각화합니다.
대상 사용자
텍스트, 시각, 오디오 및 멀티모달 도메인 전반에서 모델의 정확도, 추론 능력, 추론 효율성을 벤치마킹해야 하는 AI 개발자 및 연구자를 위해 설계되었습니다.
주요 특징
- 포괄적인 벤치마킹: 여러 모달리티(LLM, VLM, Embedding, Reranker)에 걸친 광범위한 업계 표준 벤치마크를 내장 지원합니다.
- 에이전트 평가 모드: SWE-bench와 같은 벤치마크를 위해 전체 추적 기록 및 시각화를 갖춘 다중 턴 에이전트 루프를 지원합니다.
- 성능 스트레스 테스트: Time to First Token (TTFT) 및 Time Per Output Token (TPOT)과 같은 추론 지표를 측정하기 위한 도구입니다.
- 대화형 대시보드: 다차원적인 모델 비교 및 상세한 예측 검사를 위한 React 기반 웹 인터페이스입니다.
- 아레나 모드 (Arena Mode): 모델을 직관적으로 순위 매기기 위한 1대1 대결을 활성화합니다.
- 확장 가능한 아키텍처: 개발자가 사용자 정의 데이터셋, 모델 및 평가 지표를 쉽게 추가할 수 있습니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트