Bespoke-Minicheck: 透過落地事實查核減少 LLM 幻覺

Bespoke-Minicheck 是一個由 Bespoke Labs 開發並整合至 Ollama 的落地事實查核模型。它透過驗證生成的聲明是否得到特定來源文件的支持，輸出二進位的「Yes」或「No」回應，從而減少 LLM 幻覺。

落地事實驗證機制

Bespoke-Minicheck 作為一個驗證層運作，將生成的輸出（聲明）與一段事實資訊（文件）進行比較。模型會判斷來源文件是否支持該聲明；如果支持，模型會輸出「Yes」，如果不支持，則輸出「No」。

在檢索增強生成 (RAG) 中的應用

Bespoke-Minicheck 旨在用於檢索增強生成 (RAG) 工作流中，以確保模型的回答是基於檢索到的上下文。透過將該模型實作為後處理步驟，開發者可以藉由將最終回應與提供給 LLM 的上下文進行驗證，來偵測幻覺。

實作與使用

若要透過 Ollama 使用 Bespoke-Minicheck，使用者可以使用以下指令執行模型：

ollama run bespoke-minicheck

驗證需要一個同時包含來源文件與聲明的提示詞結構。例如：

• Supported Claim (受支持的聲明):

  • Document: 一群學生聚集在學校圖書館準備即將到來的期末考試。
  • Claim: 學生們正在準備考試。
  • Result: Yes

• Unsupported Claim (不受支持的聲明):

  • Document: 一群學生聚集在學校圖書館準備即將到來的期末考試。
  • Claim: 學生們正在度假。
  • Result: No

技術資源

Bespoke Labs 與 Ollama 在 GitHub 上提供了幾個整合此模型的實作範例：

• Fact Checking: 對聲明與來源資訊進行簡單查核。
• RAG Integration: 使用該模型在 RAG 應用程式中驗證落地事實性的範例。