ALTK-Evolve：学习记忆如何在不使用前沿模型的情况下在客户服务任务的 τ²-bench 排行榜上名列前茅

学习记忆在无需权重更新的情况下提升智能体性能

ALTK-Evolve 使客户服务智能体能够通过自动将成功和失败的任务轨迹提炼为一组行为准则，从而在 τ²-bench 排行榜上实现顶级性能。这些准则被附加到智能体的系统提示词中，使模型能够在无需微调、人工标注或修改底层模型权重的情况下，提高其可靠性和准确性。

使用这种方法，一个由 gpt-4.1 驱动的基础 ReAct 智能体在截至 2026 年 10 月 12 日的 τ²-bench 零售领域测试中获得了 67.5% 的 Pass^4 分数。这一表现超过了排行榜上所有其他零售类参赛系统，包括那些在合成数据上进行过微调的系统，证明了提示词层面的记忆可以有效地弥合旧模型与前沿系统之间的性能差距。

方法论：从智能体轨迹中提炼准则

ALTK-Evolve 作为一个自我改进的循环运行，用于分析智能体的训练任务尝试。该系统使用驱动智能体的同一个 LLM，从成功和失败的交互中提取特定的行为规则——例如身份验证协议、交易确认步骤和退货处理流程。这些规则被汇总成一个 Markdown 格式的列表，并添加到智能体后续任务的系统提示词中。

通过附加这些准则，智能体获得了一本“战术手册”，用以执行特定领域的策略和最佳实践。此过程完全自动化，无需人工干预来整理规则，并且这些准则在留出的测试集上保持一致应用，以确保泛化能力。

性能与可靠性的提升

准则不仅提高了智能体的能力（平均准确率），还提升了其可靠性（Pass^4）。在零售领域，“无损”配置（包含所有提取的准则）与基准相比，Pass^4 提高了 10 个百分点。在航空领域，虽然无损配置提高了准确率，但更紧凑的“sup3”核心（支持度 ≥ 3 的准则）提供了最高的可靠性，这表明最佳的指导量取决于具体领域。

至关重要的是，这些性能提升并没有以更长、更复杂的对话为代价。分析表明，使用 ALTK-Evolve 准则的智能体完成任务的轮数实际上比基准智能体略少，从而降低了端到端延迟。虽然增加的提示词长度会导致更高的输入 Token 成本，但这些成本在生产环境中可以通过使用提示词缓存（prompt caching）在很大程度上得到缓解。

跨模型层级的适用性

即使应用于前沿模型，学习到的准则也能提供显著的好处。在测试由 gpt-5.5 驱动的航空智能体时，添加学习到的准则使 Pass^4 分数提高了 15 个百分点，使该智能体以 82.0% 的成功率登上了排行榜榜首。这证实了 ALTK-Evolve 不仅仅是弱模型的补丁，而是一个用于增强不同模型架构下智能体行为的强大框架。