Bespoke-Minicheck: 通过基于事实的真实性检查减少 LLM 幻觉

Bespoke-Minicheck 是由 Bespoke Labs 开发并集成到 Ollama 中的基于事实的真实性检查模型。它通过验证生成的断言是否得到特定源文档的支持，输出二进制的“Yes”或“No”响应，从而减少 LLM 幻觉。

基于事实的真实性验证机制

Bespoke-Minicheck 作为一个验证层运行，将生成的输出（断言）与事实信息（文档）进行比较。模型会判断源文档是否支持该断言；如果支持，模型输出“Yes”，如果不支持，则输出“No”。

在检索增强生成 (RAG) 中的应用

Bespoke-Minicheck 旨在用于检索增强生成 (RAG) 流水线，以确保模型响应基于检索到的上下文。通过将该模型作为后处理步骤实施，开发人员可以通过将最终响应与提供给 LLM 的上下文进行验证来检测幻觉。

实现与使用

要通过 Ollama 使用 Bespoke-Minicheck，用户可以使用以下命令运行模型：

ollama run bespoke-minicheck

验证需要一个包含源文档和断言的结构化提示词。例如：

• 支持的断言：

  • Document: 一群学生聚集在学校图书馆学习即将到来的期末考试。
  • Claim: 学生们正在准备考试。
  • Result: Yes

• 不支持的断言：

  • Document: 一群学生聚集在学校图书馆学习即将到来的期末考试。
  • Claim: 学生们正在度假
  • Result: No

技术资源

Bespoke Labs 和 Ollama 在 GitHub 上提供了几个集成此模型的实现示例：

• Fact Checking: 对断言与源信息进行简单检查。
• RAG Integration: 使用该模型在 RAG 应用中验证基于事实的真实性的示例。