vectara/hallucination-leaderboard

해결하는 문제

이 프로젝트는 대규모 언어 모델(LLM)이 텍스트를 요약할 때 환각을 일으키는 빈도를 측정하기 위한 표준화된 자동화 방법을 제공합니다. 사실적 일관성을 정량화함으로써 개발자와 연구자가 Retrieval-Augmented Generation (RAG) 및 에이전트 파이프라인과 같은 작업에서 다양한 모델의 신뢰성을 이해하도록 돕습니다.

작동 방식

이 리더보드는 Vectara의 독점적인 환각 평가 모델(HHEM)을 사용하여 LLM 요약을 평가합니다. 이 과정은 7,700개 이상의 기사로 구성된 엄선된 데이터셋을 다양한 LLM에 입력하고, 제공된 소스 텍스트만을 사용하여 간결하고 사실적인 요약을 생성하도록 요청하는 방식으로 진행됩니다. 시스템은 요약이 소스와 얼마나 일치하는지에 따라 환각률을 계산하며, 답변을 거부하거나 불충분한 응답을 제공하는 모델은 필터링합니다.

대상 사용자

이 프로젝트는 특히 RAG나 요약 중심 애플리케이션을 위해 LLM을 프로덕션 환경에 배포하기 전에 사실적 신뢰성을 평가해야 하는 AI 연구원, 개발자 및 엔지니어를 위한 것입니다.

주요 특징

• 새로운 모델이 출시되어도 확장 가능한 자동화되고 반복 가능한 평가 프로세스.
• 일반적인 지식이 아닌 요약의 사실적 일관성에 특별히 집중.
• 대규모 비공개 데이터셋을 사용하여 모델이 벤치마크에 과적합되는 것을 방지.
• Hallucination Rate, Factual Consistency Rate, Answer Rate를 포함한 명확한 지표 제공.