EleutherAI/lm-evaluation-harness

해결하는 문제

다양한 평가 작업에 걸쳐 생성 언어 모델을 테스트하기 위한 통합 프레임워크를 제공합니다. 이는 새로운 모델마다 벤치마크를 수동으로 구현할 필요를 없애고, 결과가 재현 가능하며 서로 다른 연구 논문과 조직 간에 비교 가능하도록 보장합니다.

작동 방식

하네스는 언어 모델과 학술 벤치마크 사이의 표준화된 인터페이스 역할을 합니다. Hugging Face transformers, vLLM, NVIDIA NeMo, 상용 API(OpenAI 등)를 포함한 광범위한 모델 백엔드를 지원하며, 이를 60개 이상의 표준 학술 벤치마크에 적용합니다. 토큰화, 배칭, 추론(멀티 GPU 샤딩 및 텐서 병렬 처리 포함)의 복잡성을 처리하여 선택된 작업에 대한 성능 메트릭을 계산합니다.

대상 사용자

업계 표준 데이터셋에 대해 자사 LLM의 성능을 엄격하게 벤치마킹해야 하는 AI 연구자, 개발자 및 조직(NVIDIA, Cohere 등).

주요 특징

• 광범위한 벤치마크 라이브러리: 수백 개의 하위 작업이 있는 60개 이상의 표준 학술 벤치마크를 포함합니다.
• 광범위한 모델 지원: Hugging Face, vLLM, GPT-NeoX, Megatron-DeepSpeed 및 다양한 상용 API와 호환됩니다.
• 유연한 인프라: 데이터 병렬 평가, accelerate를 통한 모델 샤딩, 네이티브 PyTorch 텐서 병렬 처리를 지원합니다.
• Llama.cpp 통합: Hugging Face 백엔드와 llama-server OpenAI 호환 엔드포인트를 통해 GGUF 모델을 지원합니다.
• 사용자 정의 가능성: 사용자 정의 프롬프트, 평가 메트릭, 모델 백엔드 및 필터의 플러그인 기반 등록을 허용합니다.