Bespoke-Minicheck: Grounded Factuality Checking via LLM Hallucination Reduction

Bespoke-Minicheckは、Bespoke Labsによって開発され、Ollamaに統合された、根拠に基づいた事実性検証モデルです。生成された主張が特定のソースドキュメントによって裏付けられているかどうかを検証し、「Yes」または「No」のバイナリレスポンスを出力することで、LLMのハルシネーションを低減します。

Grounded Factuality Verification Mechanism

Bespoke-Minicheckは、生成された出力（Claim）を事実情報（Document）と比較する検証レイヤーとして機能します。モデルは、ソースドキュメントが主張を裏付けているかどうかを判断します。裏付けている場合は「Yes」を出力し、裏付けていない場合は「No」を出力します。

Application in Retrieval Augmented Generation (RAG)

Bespoke-Minicheckは、Retrieval Augmented Generation (RAG) パイプラインで使用されるように設計されており、モデルの回答が取得されたコンテキストに基づいていることを保証します。モデルを後処理ステップとして実装することで、開発者はLLMに提供されたコンテキストと最終的な回答を照合することで、ハルシネーションを検出できます。

Implementation and Usage

Ollama経由でBespoke-Minicheckを使用するには、以下のコマンドを使用してモデルを実行できます：

ollama run bespoke-minicheck

検証には、ソースドキュメントと主張（Claim）の両方で構成されたプロンプトが必要です。例えば：

• Supported Claim:

  • Document: A group of students gather in the school library to study for their upcoming final exams.
  • Claim: The students are preparing for an examination.
  • Result: Yes

• Unsupported Claim:

  • Document: A group of students gather in the school library to study for their upcoming final exams.
  • Claim: The students are out on vacation
  • Result: No

Technical Resources

Bespoke LabsとOllamaは、このモデルを統合するためのいくつかの実装例をGitHub上で提供しています：

• Fact Checking: ソース情報に対する主張の単純なチェック。
• RAG Integration: RAGアプリケーションにおいて、根拠に基づいた事実性を検証するためにモデルを使用する例。