Anthropic 为 Claude 推出的 "think" 工具

Anthropic 推出了 "think" 工具，这是一种允许 Claude 在执行复杂任务期间为结构化推理创建专用空间的机制。该工具显著提高了 Claude 遵循策略、做出连贯决策以及以极低的实现开销处理多步问题的能力。

"think" 工具 vs. 扩展思维 (Extended Thinking)

虽然目的相似，但 "think" 工具与 Claude 的 "extended thinking" 能力有所不同。主要区别在于推理发生的时间点：

  • Extended Thinking: 在模型开始生成响应 之前 发生。它用于在采取行动之前对计划进行深入思考和迭代。它适用于较简单的工具使用（非顺序调用）、直接的指令遵循，以及编程、数学和物理等任务。
  • "think" 工具: 在模型开始生成响应 之后 发生。它允许 Claude 停下来并评估是否已具备继续所需的所有必要信息，使其成为处理通过工具调用发现的外部信息的理想选择。

Anthropic 建议在涉及复杂工具、长链条工具调用、政策密集型环境或每一步都建立在前一步基础上的顺序决策场景中使用 "think" 工具。

性能基准测试

τ-Bench 结果

τ-bench 测试模型在现实客户服务场景中使用工具的能力。Anthropic 使用 pass^k 指标评估了 Claude 3.7 Sonnet，该指标衡量所有 k 次独立试验都成功的概率，强调了一致性和可靠性。

  • 航空公司领域: "think" 工具与优化提示词的结合使得 pass^1 分数达到 0.584，而基准测试为 0.332。这代表在航空公司领域实现了 54% 的相对提升。
  • 零售领域: 仅使用 "think" 工具就实现了 0.812 的 pass^1 分数，而基准测试为 0.783。由于零售政策比航空公司政策更简单，Claude 在无需额外提示词的情况下就得到了提升。

SWE-bench 结果

将 "think" 工具集成到 SWE-bench 设置中，助力 Claude 3.7 Sonnet 实现了 0.623 的最先进 (state-of-the-art) 分数。隔离实验（使用工具 n=30，不使用工具 n=144）显示，"think" 工具使性能平均提升了 1.6% (Welch's t-test: t(38.89) = 6.71, p < .001, d = 1.47)。

实现最佳实践

为了最大限度地提高 "think" 工具的有效性，Anthropic 建议采用两种主要策略：

  1. 策略性提示词 (Strategic Prompting): 在系统提示词中提供清晰的指令和特定领域的示例。这应包括预期的详细程度、如何分解复杂指令、常见场景的决策树以及信息收集的验证步骤。
  2. 系统提示词放置 (System Prompt Placement): 对于长篇或复杂的指导，将指令放在系统提示词中比将其包含在工具描述本身中更有效。

何时使用（以及何时不使用）"think" 工具

推荐使用场景

  • 工具输出分析: 当模型必须处理工具输出并可能需要回溯时。
  • 政策密集型环境: 当需要严格遵守详细的指南时。
  • 顺序决策制定: 在错误成本高昂的多步领域中。

不推荐使用场景

  • 非顺序工具调用: 仅需要单个或并行工具调用的任务。
  • 简单指令遵循: 约束较少、默认行为已足够完成任务的任务。

技术实现

开发者可以使用标准工具规范来实现 "think" 工具。下面提供了一个基于 τ-Bench 的示例实现：

{
  "name": "think",
  "description": "Use the tool to think about something. It will not obtain new information or change the database, but just append the thought to the log. Use it when complex reasoning or some cache memory is needed.",
  "input_schema": {
    "type": "object",
    "properties": {
      "thought": {
        "type": "string",
        "description": "A thought to think about."
      }
    },
    "required": ["thought"]
  }
}

Anthropic 指出，虽然这些结果侧重于 Claude 3.7 Sonnet，但 Claude 3.5 Sonnet (New) 也观察到了性能提升，这表明该能力可以推广到不同模型。

Sources

相关