Anthropic 用于长时间运行应用程序开发的 Harness 设计
TL;DR
Anthropic 发布了一个三智能体 harness（规划器、生成器、评估器），让 Claude 能够在数小时的运行中自主创建丰富的全栈应用程序，同时解决前端设计中的审美判断和长时间运行编码任务中的可靠代码质量问题。
为什么朴素的长时间运行智能体会失败
朴素的自主编码智能体实现会随着上下文窗口填满而迅速失去连贯性，导致“上下文焦虑”，模型会过早地结束工作。简单的上下文压缩并不能重置模型的内部状态，因此焦虑感依然存在。此外，自我评估的智能体往往会高估自己的输出，尤其是在设计等主观任务上，导致生成平庸或有缺陷的产物。
受 GAN 启发的多智能体架构
Anthropic 借鉴了生成对抗网络中的生成器-评估器模式：
- 生成器 创建代码或 UI 资源。
- 评估器 根据具体标准对输出进行评分，并提供详细反馈。
- 规划器（为全栈工作新增）将简短的用户提示扩展为详细的产品规格，为下游智能体设定范围。
将生成与评估分离，使得评估器可以被调整为持怀疑态度，从而为生成器提供具体的改进信号。
前端设计：将品味转化为可评分的标准
为了使主观美学变得可衡量，Anthropic 定义了四个评分标准：
- 设计质量 – 颜色、排版、布局和图像的连贯性。
- 原创性 – 自定义决策与模板化方案的对比。
- 工艺 – 技术执行，如间距、对比度和层次结构。
- 功能性 – 与视觉吸引力无关的可用性。
评估器通过少量示例进行校准，并使用 Playwright 在评分前与实时页面交互。迭代循环（每次生成 5-15 轮）推动生成器产生更具特色的设计，经过十次迭代后出现了显著的创意飞跃，例如一个 3D CSS 博物馆网站。
扩展到全栈开发
架构
- 规划器 – 将 1-4 句话的提示转换为跨越十个 sprint 的 16 项功能规格，尽可能添加 AI 增强功能。
- 生成器 – 使用 React/Vite/FastAPI/SQLite（后来为 PostgreSQL）技术栈，每个 sprint 实现一项功能，提交到 git，并在交接前进行自我评估。
- 评估器 – 使用 Playwright 运行端到端测试，对每个 sprint 的产品深度、视觉设计、功能性和代码质量进行评分。在实现之前协商 sprint 契约，以对齐预期。
执行细节
- 上下文重置，对于 Claude Sonnet 4.5 来说是必需的，因为存在上下文焦虑，但在切换到 Claude Opus 4.5 后被放弃，后者更长的上下文处理能力消除了频繁重置的需要。
- 智能体之间通过结构化文件进行通信，跨会话保留状态，而不过度规定实现细节。
对比结果：harness 与单独运行
复古视频游戏制作器
- 单独运行 – 生成了基本 UI，但存在布局浪费、工作流僵化以及游戏核心无法运行的问题。
- Harness 运行 – 生成了更丰富的规格、更精致的 UI、集成了 Claude 驱动的 AI 功能，以及一个可玩的游戏（尽管有轻微的物理故障）。评估器捕获了 27 个 sprint 级标准，防止了单独版本中出现的许多错误。
- 成本 – harness 的成本高出 20 倍以上，但质量差距立竿见影。
数字音频工作站（DAW）原型
- 运行时长 – 约 4 小时，token 成本 124 美元。
- 结果 – 功能性的编排视图、混音器和走带控制；演示了 AI 辅助作曲。
- 评估器发现 – 缺少核心交互（拖放片段、乐器面板、视觉效果编辑器）以及音频录制被存根，凸显了即使使用 Opus 4.5 仍存在的差距。
Opus 4.6 之后的 Harness 简化
Opus 4.6 改进了长上下文检索、规划和自我调试，促使系统性地减少 harness 组件：
- 移除了 sprint 分解 – 模型无需显式分块即可处理更长的连贯运行。
- 评估器移至运行结束阶段 – 对于边缘情况验证仍然有价值，但对于模型单独能力范围内的任务则不再必要。
- 保留规划器 – 对于将简短提示扩展为可操作规格至关重要。
简化表明，评估器的效用取决于工作负载：当任务超出模型基线能力时，它会增加成本，但当模型单独足以胜任时，可以省略。
经验教训与未来方向
- 针对目标模型进行迭代 – 始终使用当前模型版本测试 harness；能力的变化可能使部分脚手架过时。
- 需要时进行分解 – 任务分块和专用智能体为复杂问题提供了余量，但一旦模型能够原生处理工作负载，就应该移除这些组件。
- 将生成与评估分离 – 外部持怀疑态度的评估器比试图让生成器自我批判更容易调优。
- 具体的评分标准将主观性转化为反馈 – 将设计原则编码为可评分的术语，可以推动美学改进。
- Harness 设计仍然是一个不断变化的目标 – 随着模型的改进，新的智能体组合将不断涌现，使有用的 harness 空间保持活力。
附录
DAW 提示的示例规划器输出（为简洁起见省略）。