使用混合 LLM 架构优化身份解析成本

实施混合模型架构——即由一个快速、经济高效的决策模型评估任务，并有选择地将复杂案例升级给前沿模型——可以在降低成本的同时实现接近前沿模型的准确性。这种方法对于身份解析等高容量、细微差别大的任务特别有效，在这些任务中，根据任务难度动态管理计算支出是一项重大的运营优势。

身份解析的挑战

身份解析 (IDR) 涉及将不同的数据记录映射到现实世界中的唯一个人。这是客户分析、个性化和外联的基础流程。IDR 的主要技术挑战在于避免“过度合并”，即属于不同人的记录被错误地合并为一个身份。

检测过度合并非常困难，因为生产数据中没有标准答案。人工抽样是标准的验证方法，但对于罕见的错误率而言，它既缓慢又在统计上不可靠。利用 LLM 自动化此审计过程可以进行大规模的并行评估，但前沿模型的高昂成本使得在每条记录上运行它们在经济上是不可行的。

混合模型利用

最近“决策模型”（一类旨在为特定条件返回 0-1 置信度分数的 LLM）的进步提供了一种解决方案。通过使用像 Jev 这样的模型进行初步分流，系统可以过滤掉明确的案例，仅将模棱两可或高风险的身份发送给像 Claude Opus 这样能力更强的模型。

关于校准的关键发现

混合设置中的性能在很大程度上取决于模型的置信度校准。在 Hightouch 进行的测试中，Jev 表现出了比 GPT-6 Luna 更优越的校准能力。

• Jev： 错误通常集中在 50% 的置信度阈值附近，这表明模型校准良好，知道自己何时不确定。
• Luna： 虽然开箱即用时准确率很高，但 Luna 在处理更难的案例时表现出过度自信，经常为错误的预测分配高置信度分数。

这种过度自信使得 Luna 在混合架构中效果较差，因为它在遇到困难数据时无法触发必要的升级到前沿模型。Jev 更好的校准能力使其能够动态调整支出，随着数据集难度的增加，自动将更多案例路由到 Opus。

性能与成本分析

在使用 pseudopeople 数据集的实验中，混合 Jev + Opus 方法在标准任务上达到了 98.8% 的准确率，而单独使用 Opus 为 99.0%，同时成本降低了 75% 以上。在更难、故意设置陷阱的数据集上，混合系统通过更频繁的升级，保持了对独立决策模型的显著准确率领先优势。

设置	准确率	成本 / 1,000
Claude Opus 5.5 单独使用	99.0%	$3.86
混合 Jev (Jev + Opus)	98.8%	$0.88
Jev 单独使用	95.6%	$0.05

社区见解与最佳实践

从业者之间的讨论表明，这种“模型路由”架构正在成为成本高效型 AI 工程的标准模式。

• 编排： 用户报告称，使用较小的模型（如 Qwen 变体）作为编排器来管理工具调用和意图非常成功，有效地引导较大的模型执行特定的子任务。
• 微调： 一些团队发现，在他们自己特定的错误案例上微调决策模型可以进一步提高升级准确率。
• 上下文管理： 除了简单的路由外，决策模型越来越多地被用于整理和压缩上下文，确保只有最相关的信息被传递给昂贵的前沿模型，从而提高性能和 Token 效率。

虽然具体的性能指标与当前模型版本相关，但使用“系统一”智能来把关“系统二”推理的底层策略，是构建可扩展、生产级 AI 系统的稳健框架。