让LLM给出置信度分数是个坏主意：为什么校准需要数据，而不是提示

让LLM输出置信度分数并不会产生测量结果。它产生的是一个看似合理的数字，其生成方式与其他任何token相同，因此没有任何保证该数字能反映模型的实际准确性。rumple.github.io上一篇被广泛讨论的博客文章《让LLM给出置信度》认为，除非LLM生成的置信度分数建立在有记录的依据之上，并与真实结果进行核对，否则它们是不可信的——而Hacker News上的一场大规模讨论补充了几个关于训练时校准和结构化提示的重要反驳观点。

该文章登上了Hacker News首页，并于2026年10月22日进行了编辑，添加了指向讨论帖的链接。本文总结了原始论点，然后综合了评论中提出的最有力的反对意见和补充。

置信度分数实际上意味着什么

置信度分数是对预测的预测。当预报员说“我有70%的把握明天会下雨”时，这个70%并不是对雨的看法。它是对现有信息指向下雨的强度的总结。

博客文章将该信息分为两部分：当前观测（气压、湿度、风、雷达云层）和历史基础比率（在类似天气的日子里下雨的频率）。理论上，将这些信息转化为数字是一个计算过程，而非判断。如果两位预报员拥有相同的信息并正确应用相同的规则，他们必须得出相同的置信度。当预报员意见不一致时，要么他们拥有不同的信息，要么其中一人错误地应用了规则。

作者使用第二个场景来展示信息内容的重要性。当被问及两周后的一天时，预报员没有当天的观测数据，只能报告季节性基础比率——例如30%。随着日期临近和观测数据积累，置信度可以趋向0%或100%。

如何验证置信度分数是否准确

单次预测无法验证置信度分数，因为事件要么发生要么不发生。验证需要将许多具有相同声明置信度的预测分组，并将声明比率与观察比率进行比较。

如果预报员在许多天说“70%置信”，而其中大约70%的日子下雨，则该分数是校准的。如果只有40%的日子下雨，则预报员过度自信。如果90%的日子下雨，则预报员自信不足。博客文章给出了这样一年的示例记录：

他们说	天数	下雨天数	比率
10%	120	13	11%
30%	90	26	29%
70%	80	57	71%
90%	75	67	89%

在每个水平上，观察到的降雨率都接近声明的置信度，因此该预报员是校准的。

仅校准是不够的。一个完全忽略天气并总是说30%——季节性基础比率——的预报员也是校准的，因为大约30%的日子会下雨。该预报员从不使用实例级信息，因此该数字不携带任何信号。表中更好的预报员既校准又信息丰富，因为大多数预测集中在10%或90%附近。

博客文章增加了第三个容易被忽视的要求：必须有人记录下每个预测和实际发生的情况。没有该记录，就无法知道置信度分数是否准确。

因此，两个条件定义了一个可信的置信度分数：它反映了预测所基于的信息量，并且它已根据同类问题上实际发生的情况进行了核对。

为什么LLM无法自行产生校准的置信度分数

LLM一次生成一个token的文本，其中每个token都基于之前的token。这就是“自回归”的含义。当用户问“你有多自信？”时，模型不会从内部仪表读取值。它逐token地写出字符串“0.85”，因为该字符串是对话的合理延续。

用上面的术语来说，该数字不具备这两个必需属性。它不总结证据，因为它是文本的延续而非测量。而且它从未在“声明的置信度是否与模型准确性匹配”这一问题上进行过校准。预训练确实会根据结果对模型进行评分，但它所评分的输出是下一个文本token。因此，模型在某种程度上对“接下来是什么文本”进行了校准，而不是对“当我说0.85时，我正确的频率是多少”进行了校准。它学习了置信度分数在文本中看起来是什么样子；它没有学会使其分数与其准确性相匹配。

LLM置信度不可靠的三个可观察症状

博客文章列出了三个直接源于自回归解释且任何人都可以复现的行为：

再次询问会改变数字。同一个问题可能一次得到0.85，下一次得到0.7。可用信息没有改变，因此基于规则的置信度也不应改变。
改变措辞会改变数字。问“你确定吗？”通常会使分数移动，即使问题的任何方面都没有改变。不同的措辞并不是新信息。
数字之前的文本决定了数字。如果模型已经写了“这显然是正确答案”，那么高分是自然的延续。分数跟随前面的词语，而非证据。

模型总是会返回一个数字，而且该数字看起来精确。错误的分数看起来与正确的分数完全一样，区分它们的唯一方法是将许多分数与答案键进行评分——这是大多数向LLM询问置信度的人从未执行过的步骤。

在不询问LLM的情况下构建置信度分数

文章提出的替代方案是做预报员所做的事情：构建一个明确的规则，将可观察信息转化为置信度，并不断根据结果检查该规则。LLM仍然可以执行任务（例如，撰写回复），而置信度分数来自规则。

示例是一个客户支持代理，它搜索帮助中心并起草回复，其中低置信度的草稿应转给人工处理。

选择信息。列出不需要询问模型感受的可观察信号：搜索是否找到了关于此主题的文章，找到了多少篇文章，此类问题以前是否被回答过，以及同一答案的两次独立生成是否一致？
从过去开始。在任何其他数据存在之前，最佳置信度是基础比率——如果审阅者检查了200条过去的回复，其中150条正确，则每条新回复从75%开始。
记录每条回复和发生的情况。对于每条回复，存储步骤1中的信号、规则分配的置信度，以及回复是否最终正确（由审阅者批准，或客户未再次询问即被接受）。
从记录中更新规则。按信号对过去的回复进行分组，并测量每组正确的频率。如果具有匹配文章和两次一致生成的回复在95%的情况下正确，则规则应对下一条此类回复说95%；如果没有匹配文章的回复仅在40%的情况下正确，则规则应说40%。
持续检查。每隔一周左右，重建校准表：对于每个置信度水平，回复实际正确的频率是多少？如果90%的回复仅在70%的情况下正确，则规则过度自信，新记录显示了如何修复它。

这样的规则具有LLM数字所缺乏的属性：相同的信息总是产生相同的置信度，分数取决于信息而非措辞，并且校准是在组织自身的问题类型上测量的，因为它是从组织自身的记录构建的。该规则还会随着使用而改进，因为每条回复都会添加到记录中。然而，该规则的好坏取决于记录——如果没有人检查回复是否正确，就没有什么可学习的，系统又回到了未测量的数字。

主要反驳论点：校准可以训练到模型中

几位Hacker News评论者认为，文章声称LLM“从未根据正确性进行评分”是对训练过程的假设，这已不再准确。评论者rahimnathwani指出了Sebastian Raschka关于校准的著作以及使用校准奖励的强化学习：

“RLCR在奖励中添加了Brier惩罚，因此模型的性能不仅仅以正确率来衡量。Brier惩罚（q-c）^2会惩罚忽略实例级信息的预报员。”

评论者用两种策略说明了该机制，适用于一个正确率为60%的模型。总是回答0.6是校准的，但不携带信号，因为预期惩罚为0.6 * (0.6-1)^2 + 0.4 * (0.6-0)^2 = 0.24。一个能够区分简单情况（90%正确）和困难情况（30%正确）并分别回答0.9和0.3的模型，其预期惩罚为(0.09 + 0.21) / 2 = 0.15。两种评分策略总体上都同样校准，但第二种得分更高，这就是为什么Brier式惩罚将训练推向实例特定的置信度，而非恒定基础比率。

其他评论者提出了相关观点：

评论者m101询问，预测下一个token分布而非单个下一个token的Jev式训练，是否正是为了解决这个问题而设计的。
评论者yaoke259认为，如果在真实或模拟环境（天气结果、游戏结果）中，产生正确置信度是RL训练目标，模型可能会发展出对置信度的强烈直觉，类似于Jev和决策模型的训练方式。
评论者Ozzie_osman报告说，将特定领域的置信度分数微调到现有模型中是有效的：“你基本上帮助模型理解它倾向于在哪些类型的输入上正确，在哪些类型上错误。”
评论者qznc完全反驳了该框架，指出文章本身没有显示数据证明该方法不好，并引用Metaculus上的预测性能作为LLM可以擅长此事的证据。
评论者jrflo提出了同样的证据要求：“我希望作者能跟进LLM置信度分数质量的有趣框架，并提供一些关于其好坏的数据……如果有人收集了可测量事物的数据，我愿意打赌LLM的置信度数字不会差太远。”

从业者建议的实用缓解措施

评论者就几种具体技术达成了共识，这些技术介于“向LLM要一个数字”和“构建完整的统计规则”之间。

分解评分，而不是使用0-100的尺度。评论者orbital-decay认为，宽泛的数字尺度是从模型或人那里引出判断的最差方式，并提议将问题分解为多个维度，为每个维度赋予一个小而有意义的枚举或粗略尺度，然后应用加权评分。据报道，YouTube出于同样的原因放弃了其1-5的评分尺度。

使用评分标准或可测量的标准。评论者cityofdelusion描述了使用评分脚本直接测量数量，以及使用带有明确A到F标准的评分矩阵来处理不太明确的判断。评论者的关键观点是，如果置信度无法用数学或评分标准表达，那么实施者也不知道如何测量目标，人类将“凭直觉和感觉来定一个数字”。评论者YmFzZTY0ZGFkZHk询问，更粗略的描述性置信度（例如，主要与次要）是否是同一幻觉的不同变体。

使用对数概率或重复采样，而不是自我报告。评论者dummydummy1234建议使用结构化输出结合允许输出类别的对数概率。评论者jvanderbot提出了同样的想法，询问将词汇限制为输入标签是否会将下一个token似然转化为可用的置信度。评论者bob1029提议发出许多相同的请求，测量工具选择或答案的外部分布，然后使用该分布驱动后续推理步骤。

回退到经典的校准模型。评论者PaulHoule指出了scikit-learn的校准模块，并描述了一个由预训练编码器、池化和在领域数据上训练的概率校准分类器组成的流水线。同一评论者强调，校准取决于数据分布：在与应用先验不同的先验上训练的模型将校准不良。评论者ricardobeat指出，文章的五步程序本质上是监督学习——数据、标注、权重更新和校准——而决策模型正是为此目的而训练的。

局限性和未解决的问题

评论者visarga最直接地陈述了基本约束：“没有校准集，就无法校准模型的置信度。置信度相对于某个标记数据集，它建立在桶或区间集合上，并且是基于总体的，你无法对单个预测进行检查。”同一评论者补充说，没有模型提供商可以为从未见过的任务预先校准模型。

评论者hexapus以最广泛的术语构建了辩论，将LLM描述为下一个token预测器，它们“无法推理，但可以预测推理的样子”，并认为当它们失败时，值得诚实地说明原因。

评论者zug_zug报告说，在一项要求LLM评估结果解释观察结果的几率的实验中，模型表现出与人类类似的系统性偏差，得出结论，贝叶斯统计基础目前对LLM不可靠。评论者madrox凭借统计学背景观察到，应用统计训练大约花10%的时间构建模型，90%的时间解释其输出，并质疑机器学习课程是否保持了这种平衡。

文章和讨论得出的最终实用结论是一致的：置信度分数只有在与所评分特定任务的结果书面记录相关联时才有意义。无论该分数是由显式统计规则、校准分类器、微调模型还是使用适当评分规则训练的模型产生，都是一个工程选择——但在所有这些情况下，校准证据都来自数据，而不是来自询问模型它感觉有多确定。