Hugging Face 리더보드 템플릿: Vectara HHEM 리더보드 구현
TL;DR
Hugging Face는 개발자들이 LLM을 위한 가볍고 동적인 평가 보드를 만들 수 있도록 하는 오픈소스 리더보드 템플릿을 공개했습니다. Vectara는 이러한 템플릿을 활용해 Hughes Hallucination Evaluation Model (HHEM) 리더보드를 출시했으며, 이는 오픈소스와 상용 LLM 모두의 환각 비율을 측정하고 비교하는 표준화된 방법을 제공합니다.
Hughes Hallucination Evaluation Model (HHEM)
HHEM은 LLM이 생성한 문서 요약 내에서 환각(원본 내용과 무관하거나 의미가 없는 텍스트)의 빈도를 평가하도록 설계된 오픈소스 분류 모델입니다. 이 모델은 GPT-4, Google Gemini, Anthropic Claude와 같은 상용 모델은 물론 Llama 2, Mistral 7B와 같은 오픈소스 모델까지 다양한 AI 시스템을 평가합니다.
HHEM을 오픈소스로 공개함으로써 Vectara는 LLM 환각 평가를 민주화하고 다양한 모델의 환각 경향에 대한 커뮤니티 인식을 높이고자 합니다. HHEM은 환각 연구의 선구자인 Simon Hughes를 기리기 위해 그 이름을 따왔습니다.
HF 템플릿을 통한 HHEM 리더보드 구현
Vectara는 정적 GitHub 저장소에서 동적인 Hugging Face Space로 전환했으며, 이를 위해 Hugging Face 리더보드 템플릿을 활용했습니다. 이 프레임워크는 모델 제출 요청을 관리하고 결과를 자동으로 업데이트할 수 있게 합니다.
기본 설정
표준 리더보드를 구현하려면 다음이 필요합니다:
- 스페이스 저장소 복제를 특정 조직에 수행
- 두 개의 연관 데이터셋 생성: 새로운 LLM 평가를 위한 사용자 제출을 추적하는 "requests" 데이터셋과 최종 평가 지표를 저장하는 "results" 데이터셋
- results 데이터셋에 초기 데이터 채우기 및 "About"와 "Citations" 섹션 업데이트
HHEM을 위한 고급 맞춤 설정
HHEM 평가 과정이 단순한 결과 푸시보다 복잡하기 때문에 Vectara는 여러 핵심 백엔드 파일에 걸쳐 소스 코드를 맞춤화했습니다:
leaderboard/src/backend/model_operations.py:SummaryGenerator를 구현(비공개 평가 데이터셋에서 요약을 생성하고 Answer Rate와 Average Summary Length를 계산)하고EvaluationModel을 구현(HHEM 모델을 사용해 사실 일관성 비율과 환각 비율을 계산).leaderboard/src/backend/evaluate_model.py:Evaluator클래스를 정의하며, 이는SummaryGenerator와EvaluationModel을 조정해 JSON 형식의 결과를 생성합니다.leaderboard/src/backend/run_eval_suite.py:run_evaluation함수를 포함하며, 최종 계산된 결과를 results 데이터셋에 업로드해 리더보드에 표시합니다.leaderboard/main_backend.py: 대기 중인 평가 요청 큐를 관리하고 자동 평가를 실행하며, 사용자가 기존 결과를 복제할 수 있는 옵션을 제공합니다.
LLM 커뮤니티에 대한 시사점
이러한 오픈소스 템플릿의 제공은 특화된 LLM 리더보드를 만드는 진입 장벽을 낮춥니다. 제출 및 업데이트 파이프라인을 처리하는 프레임워크를 제공함으로써 Hugging Face는 커뮤니티가 정적 벤치마크를 넘어 동적이고 커뮤니티 주도형 평가 시스템으로 전환하도록 돕습니다. 이를 통해 새로운 모델이 출시될 때마다 성능을 추적할 수 있습니다.
SUMMARY: Hugging Face는 개발자들이 동적인 LLM 평가 보드를 구축할 수 있도록 하는 오픈소스 리더보드 템플릿을 공개했으며, 이는 Vectara의 새로운 Hughes Hallucination Evaluation Model (HHEM) 리더보드에서 입증되었습니다.
TITLE: Hugging Face 리더보드 템플릿: Vectara HHEM 리더보드 구현