现代 LLM 中推理与知识之间的权衡

AI 实验室正在优先考虑推理而非事实召回

现代大语言模型 (LLM) 正在表现出一种矛盾的趋势：在 AIME 等基准测试中的推理分数正在上升，而每个 token 的活跃参数量却在下降。例如，GLM-5.2 在 AIME 2026 上实现了 99.2% 的分数，其活跃参数量约为 40 billion，而 Qwen3.5 在活跃参数量为 17 billion 的情况下获得了 91.3% 的分数。相比之下，GPT-4 据报道在 2023 年使用了约 280 billion 的活跃参数，但在处理类似问题时却表现挣扎。

虽然推理效率正在提高，但事实召回率却在下降。在测试不使用工具进行事实召回的 SimpleQA 基准测试中，领先者 (Gemini 2.5 Pro) 仍然会遗漏大约一半的问题。较小的模型，如 Qwen3.5 4B 和 9B，在知识基准测试中表现出 80% 到 82% 的幻觉率。这表明 AI 实验室在进行一种刻意的设计选择，即用世界知识来换取推理能力。

事实与推理的计算成本

事实性知识需要大量的参数空间，据估计每个参数大约包含两个 bit 的事实知识。存储详尽的细节——例如鲜为人知的历史人物的出生年份或特定的 API 参数顺序——需要数万亿 (trillion) 个参数。

然而，推理过程更具可压缩性，因为它由一组可重复的程序组成：将问题分解为若干部分、跟踪中间状态以及在失败时进行回溯。通过在可验证任务上进行蒸馏 (distillation) 和强化学习 (reinforcement learning)，可以将这些程序转移到较小的模型中。例如，Phi-4 (14 billion 参数) 精通数学但对琐事 (trivia) 知之甚少，这反映了其训练重点在于合成的教科书式数据，而非广泛的世界知识。

将静态权重与动态事实解耦

将事实硬编码到模型权重中是低效的，因为信息会“腐烂”。API 规范、定价和人员变动非常频繁，这意味着模型的知识在训练结束的那一刻就开始过时了。相比之下，推理程序（如代数或逻辑矛盾检测）是永恒的。

通过将昂贵且训练缓慢的模型与快速变化的世界状态解耦，开发者可以创建不会像知识密集型模型那样随时间老化的模型。目标是创建一个通用的模型——它只需了解足够的知识来理解查询并判断来源的可信度——而将深度知识检索留给运行时 (runtime) 进行。

“挂载工具”在知识检索中的作用

为了补偿内部知识的匮乏，模型依赖于一个“挂载工具” (harness)：一个由检索增强生成 (RAG)、工具调用 (tool calls)、网络搜索或本地文件系统访问组成的系统。在这种架构中，模型提供推理引擎，而具体的事实由运行时提供。

这种方法对于编程代理 (coding agents) 特别有效。代理不需要记住整个库的 API 界面，而是可以通过 grep node_modules 或阅读当前文档，从而确保答案是基于实际安装的版本，而非训练数据中存在的版本。

对幻觉和本地部署的影响

将事实从权重中移出并放入“挂载工具”中改变了幻觉的性质。当事实存储在权重中时，如果没有进行完整的微调 (fine-tune)，几乎不可能找到或修复错误的知识。当事实存在于外部知识库中时，错误答案会有明确的地址（一个被引用的文档）。如果文档本身是错误的，它可以被编辑，修复后的结果会立即对所有未来的查询可用。

这种转变也使得在消费级硬件上运行前沿质量的推理成为可能。如果剥离了知识密集型的专家层，一个 20 到 40 billion 参数的模型（在 4-bit 量化下）可以装入 24GB VRAM 的 GPU 中，前提是该模型配备了强大的外部“挂载工具”进行事实查询。

批判性视角与反论点

虽然将推理与知识解耦的趋势在概念上很有吸引力，但它面临着几个技术和哲学挑战：

• 推理与知识的相互依赖性： 有人认为推理不能完全从语义内容中分离。为了对人类行为或历史事件进行推理，模型必须具备一定的基础事实知识来支撑其逻辑。
• RAG 的局限性： 批评者指出，将信息移入上下文窗口 (context window) 并不能自动消除幻觉。模型仍然可能误读来源或错误地综合多个文档。
• 数据质量： 这种方法的有效性完全取决于外部搜索工具的质量。如果搜索引擎的质量下降或检索到的文档是错误的，模型的推理能力无法补偿事实先验知识的缺失。
• 基准测试的有效性： 一些社区成员指出 SimpleQA 等基准测试可能已经过时，这表明关于当前召回率领先者的说法可能无法反映最新的模型迭代。