Hugging Face 幻覚リーダーボードの開始と初期結果

TL;DR

Hugging Face Hallucinations Leaderboard は、オープンソースデータセットのスイートを通じて大規模言語モデルの事実性と忠実性に関する幻覚をベンチマークするために開始され、透明で継続的に更新されるランキングを提供し、研究者が最も信頼できるモデルを特定できるようにします。

リーダーボードが測定するもの

リーダーボードは、EleutherAI LM Evaluation Harness を使用して 幻覚関連ベンチマーク 上でモデルを評価します。すべての指標は ([0,1]) のスケールに正規化され、スコアが高いほど幻覚が少ないことを示します。評価はエディンバラ国際データ施設およびエディンバラ大学の内部クラスターにある NVIDIA A100 GPU で実行されます。

ベンチマークスイート

リーダーボードは、特定の幻覚失敗モードを対象とした 8 つのタスクファミリーを集約しています。

  • クローズドブック オープンドメイン QA – NQ Open、TriviaQA、TruthfulQA（8‑ショットおよび 64‑ショット設定）。正確度は Exact Match で測定されます。
  • 要約 – XSum と CNN/DM（2‑ショット）。指標: ROUGE‑1/2/L、factKB、BERTScore‑Precision。
  • 読解 – RACE（2‑ショット）と SQuADv2（4‑ショット）。回答選択と回答不能質問の検出を評価します。
  • 指示遵守 – MemoTrap（ゼロショット）と IFEval（ゼロショット）。モデルが不要なテキストを記憶せずに制約に従うかをテストします。
  • 事実確認 – FEVER（16‑ショット）。モデルは SUPPORTS、REFUTES、または NOT ENOUGH INFO を予測します。
  • 幻覚検出 – FaithDial、True‑False、HaluEval（QA/対話/要約）を 8‑ショット設定で使用。モデルは幻覚的出力をフラグ付けする必要があります。
  • 自己一貫性 – SelfCheckGPT（238 インスタンス）。各インスタンスで 6 つのパッセージを生成（1 つは決定的、5 つは確率的）し、NLI モデルを使用して一貫性のない文をフラグ付けします。

初期的な発見

モデルクラスター

結果マトリックスの階層的クラスタリングにより、3 つの自然なグループが明らかになりました。

  1. Mistral 7B ベースのモデル（例: Mistral 7B‑OpenOrca、Zephyr 7B beta、Starling‑LM 7B alpha）。
  2. LLaMA 2 ベースのモデル（例: LLaMA 2 7B、LLaMA 2 13B、Wizard Vicuna 13B）。
  3. 小規模モデル（例: BLOOM 560M、GPT‑Neo 125M、Orca Mini 3B）。

クローズドブック QA

  • Mistral 7B 系列は TriviaQA（8‑ショット）と TruthfulQA で他のモデルを上回ります。
  • Falcon 7B は NQ Open（8‑ショット）でトップです。64‑ショットに増やすと LLaMA 2 13B がトップに上がります（EM = 0.34）。

指示遵守

  • 驚くべきことに、BLOOM 560M は MemoTrap で上位にランクインしており、小規模モデルは有名な引用句を記憶しないことを示唆しています。
  • LLaMA 2 13B Chat と Mistral 7B Instruct は、より複雑な IFEval タスクで最高スコアを達成しています。

要約

  • GPT‑JT 6B は CNN/DM で最高の ROUGE スコアを取得しており、主に先頭文を抽出することで達成しています。
  • LLaMA 2 13B はパフォーマンスが低く、しばしば単一トークンで出力を切り捨てます。これはコンテキスト長の制限が原因と考えられます。

読解

  • Mistral 7B と LLaMA 2 系列は RACE でリードしています。
  • SQuADv2 では、mGPT が回答不能質問の検出に優れ、Starling‑LM 7B alpha が回答可能な質問への回答で最良です。

幻覚検出

  • SelfCheckGPT のスコアは Mistral 7B OpenOrca が最も高く、頻繁に空の回答を出力し、これが自明に自己一貫性があります。
  • HaluEval の結果は QA、対話、要約のすべてで Mistral と LLaMA 2 系列に有利です。

なぜ重要か

標準化されたオープンソース評価プラットフォーム を提供することで、Hallucinations Leaderboard は、代理スコアではなく具体的な幻覚指標でモデルを比較できるようにします。この透明性は、開発者が誤情報を拡散したりユーザーの意図から逸脱したりする可能性が低いモデルを選択するのに役立ち、コミュニティが将来の LLM リリースにおいて事実性と忠実性を向上させるインセンティブとなります。

参加方法

リーダーボードはオープンエンドです。研究者は新しいモデルを提出したり、追加タスクを提案したり、リーダーボード UI のディスカッションページから計算リソースを提供したりできます。サンプル生成と詳細な分析は今後数週間で拡充される予定です。

引用

リーダーボードやそのデータを使用する場合は、付随する arXiv 論文を引用してください：

@article{hallucinations-leaderboard,
  author = {Giwon Hong and Aryo Pradipta Gema and Rohit Saxena and Xiaotang Du and Ping Nie and Yu Zhao and Laura Perez‑Beltrachini and Max Ryabinin and Xuanli He and Clémentine Fourrier and Pasquale Minervini},
  title = {The Hallucinations Leaderboard - An Open Effort to Measure Hallucinations in Large Language Models},
  journal = {CoRR},
  volume = {abs/2404.05904},
  year = {2024},
  url = {https://doi.org/10.48550/arXiv.2404.05904},
  doi = {10.48550/ARXIV.2404.05904}
}

Sources