hallucination-leaderboard: 요약 작업 시 LLM 환각률을 추적하는 공개 리더보드

해결하는 문제

이 프로젝트는 다양한 거대 언어 모델(LLM)의 환각률을 추적하고 비교하는 공개 리더보드를 제공합니다. 특히 요약 작업에서의 사실적 불일치 문제를 다루며, 사용자가 문서를 요약할 때 어떤 모델이 허위 정보를 도입할 가능성이 가장 높은지 식별하는 데 도움을 줍니다.

작동 방식

리더보드는 환각을 탐지하도록 훈련된 특화된 모델인 Vectara의 Hallucination Evaluation Model (HHEM)을 사용합니다. 프로세스는 다음과 같습니다:

1. 요약 작업: 다양한 분야(뉴스, 과학, 의학 등)의 7,700개 이상의 기사로 구성된 큐레이션된 데이터셋이 LLM에 제공되며, 제공된 정보만을 사용하여 텍스트를 요약하도록 요구하는 엄격한 프롬프트가 포함됩니다.
2. 평가: HHEM은 LLM이 생성한 요약을 평가하여 "사실적 일관성 비율"(환각이 없는 요약의 백분율)과 "환각률"(100에서 일관성 비율을 뺀 값)을 계산합니다.
3. 지표: 리더보드는 환각률, 사실적 일관성 비율, 답변율(모델이 응답한 빈도), 그리고 평균 요약 길이를 추적합니다.

대상 사용자

• AI 연구자 및 개발자: 서로 다른 LLM의 동일한 사실적 일관성을 벤치마크하려는 사람들.
• RAG 및 Agentic System 구축자: 이러한 시스템은 종종 검색 결과의 요약자로 LLM을 사용하므로, 이 리더보드는 이러한 파이프라인에서 사용될 때 모델의 정확도를 나타내는 대리 지표 역할을 합니다.

주요 특징

• 특화된 평가 모델: HHEM-2.3 (상용)을 사용하며 오픈 소스 변형(HHEM-2.1-Open)을 제공합니다.
• 큐레이션된 데이터셋: 과적합을 방지하기 위해 다양한 복잡도와 길이(50~24K 단어)를 가진 7,700개 이상의 기사로 구성된 비공개 데이터셋을 사용합니다.
• 상세한 지표: 환각률 외에도, 모델이 답변을 거부함으로써 지표를 조작하는 것을 방지하기 위해 답변율을 추적합니다.
• 광범위한 모델 범위: OpenAI, Google, Anthropic, Meta와 같은 제공업체의 광범위한 모델을 평가합니다.