TITLE: Hugging Face リーダーボードテンプレート: Vectara HHEM リーダーボードの実装

TL;DR

Hugging Face は、開発者が LLM 用の軽量で動的な評価ボードを作成できるオープンソースのリーダーボードテンプレートをリリースしました。Vectara はこれらのテンプレートを活用して Hughes Hallucination Evaluation Model (HHEM) リーダーボードを立ち上げ、オープンソースおよび商用 LLM の幻覚率を測定・比較する標準化された方法を提供しています。

The Hughes Hallucination Evaluation Model (HHEM)

HHEM は、LLM が生成した文書要約における幻覚（意味不明または元コンテンツと合致しないテキスト）の頻度を評価するために設計されたオープンソースの分類モデルです。このモデルは、GPT-4、Google Gemini、Anthropic Claude といった商用モデルだけでなく、Llama 2 や Mistral 7B などのオープンソースモデルを含む幅広い AI システムを評価します。

HHEM をオープンソース化することで、Vectara は LLM の幻覚評価を民主化し、モデルごとの幻覚傾向の違いに対するコミュニティの認識を高めることを目指しています。HHEM の名称は、幻覚研究の先駆者である Simon Hughes にちなんで付けられました。

Implementing the HHEM Leaderboard via HF Templates

Vectara は、静的な GitHub リポジトリから Hugging Face Space へと移行し、Hugging Face のリーダーボードテンプレートを活用しました。このフレームワークにより、モデルの提出リクエストの管理と結果の自動更新が可能になります。

Basic Setup

標準的なリーダーボードを実装するには、以下が必要です：

  1. スペースリポジトリをクローン して特定の組織に配置する。
  2. 2つの関連データセットを作成：新しい LLM 評価のユーザー提出を追跡する「requests」データセットと、最終評価指標を保存する「results」データセット。
  3. results データセットに初期データを投入 し、"About" と "Citations" セクションを更新する。

Advanced Customizations for HHEM

HHEM の評価プロセスは単純な結果プッシュよりも複雑であるため、Vectara は複数の主要なバックエンドファイルにわたってソースコードをカスタマイズしました：

  • leaderboard/src/backend/model_operations.py: SummaryGenerator（プライベート評価データセットから要約を生成し、回答率と平均要約長さを算出）と EvaluationModel（HHEM モデルを使用して事実整合率と幻覚率を計算）を実装しています。
  • leaderboard/src/backend/evaluate_model.py: Evaluator クラスを定義し、SummaryGenerator と EvaluationModel を連携させて JSON 形式の結果を生成します。
  • leaderboard/src/backend/run_eval_suite.py: run_evaluation 関数を含み、最終的に計算された結果を results データセットにアップロードし、リーダーボードに表示します。
  • leaderboard/main_backend.py: 保留中の評価リクエストキューを管理し、自動評価を実行します。また、ユーザーが既存の結果を再現するオプションも提供します。

Implications for the LLM Community

これらのオープンソーステンプレートが利用可能になることで、専門的な LLM リーダーボードの作成に対する参入障壁が低減されます。提出と更新のパイプラインを処理するフレームワークを提供することで、Hugging Face はコミュニティが静的なベンチマークを超えて、リリースされる新しいモデルの性能を追跡できる動的でコミュニティ主導の評価システムへと移行することを可能にします。

Sources