huggingface/lighteval

해결하는 문제

Lighteval은 다양한 백엔드에서 대규모 언어 모델(LLM)을 평가하기 위한 통합 툴킷을 제공합니다. 복잡한 벤치마크를 수동으로 설정할 필요 없이, 사전 정의된 수천 가지 작업 라이브러리와 특정 요구에 맞는 사용자 정의 평가 메트릭 및 작업을 만들 수 있는 유연성을 제공합니다.

작동 방식

이 라이브러리는 모델이 어떻게 호스팅되는지에 관계없이 연결할 수 있는 평가 계층으로 작동합니다. Accelerate, vLLM, SGLang을 통한 로컬 GPU 실행, Nanotron을 통한 분산 환경, Hugging Face Inference Endpoints, TGI, LiteLLM을 통한 원격 API 엔드포인트 등 다양한 환경에 대한 여러 진입점 지원이 가능합니다. 사용자는 명령줄 인터페이스 또는 메모리에 이미 로드된 모델을 위한 Python API를 통해 평가를 실행할 수 있습니다.

대상 사용자

업계 표준 데이터셋에 대해 LLM을 벤치마크하거나, 전문적, 다국어, 도메인 특화 작업에서 모델 성능을 검증해야 하는 AI 연구자 및 개발자에게 적합합니다.

주요 특징

• 광범위한 작업 라이브러리: 일반 지식, 수학, 코딩, 지시 따르기, 핵심 언어 이해를 포함한 1,000개 이상의 평가 작업을 지원합니다.
• 넓은 백엔드 지원: 다양한 추론 엔진 및 API 제공업체와 호환됩니다.
• 다국어 기능: 아랍어, 프랑스어, 독일어, 중국어, 러시아어 등을 포함한 수십 가지 언어의 벤치마크를 포함합니다.
• 세부 디버깅: 샘플 단위로 결과를 저장하여 모델이 정확히 어디에서 실패하는지 분석할 수 있습니다.
• 사용자 정의 가능: 사용자 정의 작업과 메트릭을 쉽게 구현할 수 있습니다.