共识鸿沟：为什么前沿 LLM 在 67% 的现实世界事实核查中存在分歧

大型语言模型 (LLM) 作为客观真理仲裁者的承诺，经常在营销材料和基准测试排行榜中被吹捧。然而，基准测试通常依赖于可能已泄露到训练集中的静态数据集，通过记忆而非推理来创造准确性的假象。为了揭开这层面纱，Lenz Research 进行了一项研究，使用了用户提交给事实核查平台的 1,000 个现实世界主张——这些主张是新鲜的、有机的，且不存在于公开训练语料库中。

结果令人警醒：在五种全球领先的前沿 LLM 中，67% 的主张导致了分歧。 这一差距表明，当我们从精心策划的基准测试转向人类主张的混乱现实时，“前沿”远非统一战线。

分歧的解剖

该研究使用了一个包含四个等级的判定准则：True（正确）、Mostly True（基本正确）、Misleading（误导性）和 False（错误）。通过向五种模型（GPT-5.4, Claude Opus 4.7, Gemini 3 Pro, Gemini 3 Pro + Search, 和 Sonar Pro）展示相同的 1,000 个主张，研究人员识别出了几种关键的分歧模式。

1. 分歧的频率

只有 33% 的主张在所有五种模型中达成了共识。在剩余的 67% 中，至少有一个模型与多数派意见不一致，或者根本没有形成多数派。这在误差上创造了一个数学下限：如果我们假设多数派总是正确的，那么至少有一个模型在 67% 的主张上是错误的。

2. 细微差别 vs. 实质性冲突

并非所有的分歧都是平等的。研究人员区分了“细微差别”（1 个等级的差距，例如 True vs. Mostly True）和“实质性”分歧（2 个或更多等级的差距，例如 True vs. Misleading 或 True vs. False）。

  • 仅细微差别： 33% 的主张。
  • 实质性或两极分化： 34% 的主张。

这意味着在超过三分之一的情况下，模型们不仅在真理的程度上存在分歧，而且在真理的本质上存在分歧。

3. “中间等级”的断裂

最引人注目的发现之一是，模型在准则的中部最为挣扎。虽然专家组经常在明确的“True”或“False”判定上达成一致，但几乎从未在“Mostly True”或“Misleading”上达成一致。

在多数派投票为“Mostly True”的主张中，0% 达成了全票通过。同样，只有 5% 的“Misleading”多数派判定是全票通过的。这表明，不同模型架构之间对细微差别的界限解释存在巨大差异。

模型特定行为

研究揭示了不同模型在分配判定时表现出的不同“个性”：

  • 两极分化： Gemini 3 Pro 倾向于将其判定集中在两极（True/False），极少分配给中间等级。
  • 分布均衡： Claude Opus 4.7 和 Sonar Pro 更倾向于使用“Mostly True”和“Misleading”类别。
  • 同行一致性： Gemini 3 Pro 与其搜索增强版本之间的一致性最高（75%），而 Claude Opus 4.7 与 Gemini 3 Pro 之间的一致性最低（53%）。

批判性反思与局限性

虽然数据指向了缺乏一致性，但社区的反应——特别是来自 Hacker News 技术观察者的反应——强调了几个方法论上的疑虑，这些提供了必要的背景信息。

“强迫选择”谬误

主要的批评之一是缺乏“Abstain”（弃权）或“Unknown”（未知）选项。在现实世界的事实核查中，最诚实的回答往往是“我不知道”。通过在四个等级之间强迫进行选择，该研究可能是在测量模型产生幻觉判定而非其事实知识。

"The only correct answer to that, if you don't have a search tool, is 'this claim is this claim is impossible for me to verify' and that wasn't an option." — @simonw

准则模糊性

批评者认为，分歧可能源于提示词（prompt）缺乏详细的准则。如果没有关于什么是“Mostly True”与“Misleading”的明确定义，模型就会依赖于它们内部对这些术语的迥异解释。

“事实”的本质

语料库中的某些主张可能从根本上是无法证明的或具有解释性的。例如，涉及历史边界（例如，某个城市在 1934 年是否属于某个特定州）或关于未来的预测（例如，AI 驱动的失业问题）并非二元事实，而是涉及框架和视角的议题。

结论：单一“神谕”的风险

Lenz Research 研究的核心启示是一个警告：不要将任何单一的 LLM 视为真理的终极神谕。当地球上最强大的五种模型都无法在三分之二的现实世界主张上达成一致时，依赖单一模型进行关键验证的风险很高。

正如研究所示，前行的道路可能不在于寻找单一的“完美”模型，而在于实现集体机器智能——即利用多个模型、交叉引用它们的分歧，并为人类提供进行最终判断所需的证据。

Sources