open-compass/opencompass

해결하는 문제

OpenCompass는 대규모 언어 모델(LLM)과 시각-언어 모델의 품질과 효과를 평가하기 위한 통합된 원스톱 플랫폼을 제공합니다. 수많은 데이터셋과 모델 구성을 단일 워크플로우로 통합하여 분산된 평가 스크립트를 관리할 필요성을 없애줍니다.

작동 방식

이 플랫폼은 데이터셋 및 모델 구성, 추론, 평가, 결과 요약을 포함하는 전체 평가 파이프라인을 관리합니다. vLLM, LMDeploy, HuggingFace와 같은 다양한 추론 백엔드를 사용하는 로컬 오픈 소스 모델과 API 기반 모델을 모두 지원합니다. 이 시스템은 zero-shot, few-shot, chain-of-thought, LLM-as-judge와 같은 다양한 평가 전략을 처리할 수 있으며, 대규모 워크로드를 처리하기 위한 분산 실행을 지원합니다.

대상 사용자

추론, 코딩, 과학 및 안전성 분야의 능력을 평가하기 위해 표준화된 데이터셋을 기준으로 NLP 및 멀티모달 모델을 벤치마킹해야 하는 연구원과 엔지니어를 위해 설계되었습니다.

주요 특징

• 광범위한 통합: 100개 이상의 데이터셋과 OpenAI, Anthropic, Gemini, DeepSeek, Qwen과 같은 제공업체의 다양한 모델을 지원합니다.
• 멀티모달 지원: VLMEvalKit을 통합하여 텍스트 전용 데이터셋과 시각-언어 데이터셋을 모두 하나의 워크플로우에서 평가할 수 있습니다.
• 유연한 추론: 여러 백엔드(vLLM, LMDeploy, HuggingFace)와 호환되며 동시 실행 또는 분산 실행을 지원합니다.
• 다양한 평가 방법: 규칙 기반 평가, LLM-as-judge, 그리고 순차적 평가 파이프라인을 위한 CascadeEvaluator를 포함합니다.