vectara/hallucination-leaderboard

解決する課題

このプロジェクトは、大規模言語モデル (LLM) がテキストを要約する際にハルシネーションを起こす頻度を測定するための、標準化された自動化手法を提供します。事実の一貫性を定量化することで、開発者や研究者が Retrieval-Augmented Generation (RAG) やエージェントパイプラインなどのタスクにおける各モデルの信頼性を理解するのに役立ちます。

仕組み

このリーダーボードは、Vectara の独自ハルシネーション評価モデル (HHEM) を使用して LLM の要約を評価します。プロセスでは、7,700 件以上の記事からなる厳選されたデータセットをさまざまな LLM に入力し、提供されたソーステキストのみを使用して簡潔で事実に基づいた要約を生成させます。システムは、要約がソースとどの程度一致しているかに基づいてハルシネーション率を計算し、回答を拒否したり不十分な回答を提供したりするモデルを除外します。

対象ユーザー

このプロジェクトは、特に RAG や要約を多用するアプリケーションにおいて、LLM を本番環境にデプロイする前にその事実上の信頼性を評価する必要がある AI 研究者、開発者、エンジニアを対象としています。

ハイライト

• 新しいモデルがリリースされても拡張可能な、自動化された再現性の高い評価プロセス。
• 一般的な知識ではなく、要約における事実の一貫性に特化。
• 大規模なプライベートデータセットを使用し、モデルがベンチマークに対して過学習するのを防止。
• Hallucination Rate、Factual Consistency Rate、Answer Rate を含む明確な指標を提供。