CUGA Harness 在 AppWorld 基准测试中表现优于 Hermes 和 Deep Agents
TL;DR
IBM 的开源 CUGA harness 使用相同的 GLM-5.3-flash 模型完成了 81% 的 AppWorld 基准测试任务，远超 Hermes (47%) 和 Deep Agents (30%)。结果表明，对于企业自动化而言，决定可靠性、规则执行和可部署性的不仅是模型，更是 harness。
实验证明 harness 至关重要
一项对照测试在 90 个 AppWorld 任务（30 个多应用场景）中，针对相同的开源权重模型 (GLM-5.3-flash) 运行了三个流行的代理 harness——CUGA、Hermes 和 Deep Agents。所有运行均使用 Harbor 评估框架和相同的任务输入；仅 harness 配置不同。结果如下：
| Harness | 任务完成率 (TGC) | 场景完成率 (SGC) |
|---|---|---|
| CUGA | 81.1 % (73/90) | 66.7 % (20/30) |
| Hermes | 46.7 % (42/90) | 26.7 % (8/30) |
| Deep Agents | 30.0 % (27/90) | 6.7 % (2/30) |
SGC 指标要求场景的所有三个变体均成功，强调了稳定性；CUGA 实现的场景成功率是排名第二的 harness 的三倍多。
"最有用的数字是 SGC。只有当场景的所有三个变体都通过时，场景才算通过，因此 SGC 奖励的是稳定性，而不是运气。在这里差距更大：CUGA 为 20 个场景，Hermes 为 8 个，Deep Agents 为 2 个。" – IBM Research 博客
CUGA 胜出的原因：关键 harness 特性
CUGA 的架构增加了一个紧凑、可重复的循环，将决策过程从模型卸载到 harness：
- 任务分解 – 将多应用请求拆分为单应用步骤，减少组合工具选择的复杂性。
- 聚焦工具集 – 每个步骤仅能看到与其应用相关的工具以及少量共享实用程序，避免了总计 469 个工具带来的干扰。
- 工具短名单 – 动态发现步骤可能需要的额外工具。
- CodeAct & 沙箱 – 模型发出调用 API 的 Python 代码；代码在受限且有时限的环境中运行。
- 执行前验证 – 每个改变状态的代码块在执行前都会经过审查。
- 自动反思 – 在每个步骤之后，harness 会审计结果、修正计划并标记分页问题。
这些强制执行点显著减少了错误决策并提前发现错误，从而提高了整体成功率。
在提示词之外强制执行业务规则
企业代理必须遵守严格的策略（例如，支付限额、PII 处理）。CUGA 将此类规则从脆弱的系统提示词转移到 策略层，由 harness 在四个执行点强制执行：
| 运行点 | 策略类型 | 执行动作 | 示例 |
|---|---|---|---|
| 用户意图 | 意图防护 | 在任何代理操作前拦截或回答 | 拒绝删除所有客户记录的请求 |
| 代理指导 | 剧本 | 提供标准程序 | 遵循分步退款工作流 |
| 工具执行 | 工具审批 | 暂停以等待人工确认，显示生成的代码 | 在支付工具运行前要求经理审批 |
| 工具执行 | 工具防护 | 强制检查并中止不允许的调用 | 阻止任何 > $1,000 的支付 |
| 最终响应 | 输出格式化程序 | 将答案调整为批准的模板 | 使用合规的回复格式 |
策略游乐场 (Policy Playground) 演示展示了相同的用户消息产生两种不同的结果：不受限制的代理支付了 $90（包括一项被拒绝的索赔），而启用了策略的代理则保留支付以待审批，仅支付了授权的 $10。
"对于“支付我欠的所有款项。”，没有策略的代理支付了 $90，其中包括催收中被拒绝的索赔。启用了策略的代理保留了支付以待审批，然后仅支付了应付的 $10。" – IBM Research 博客
何时选择 CUGA
CUGA 专为 企业自动化 设计，适用于以下场景：
- 规则必须在 运行时强制执行，而不仅仅是在提示词中建议。
- 部署必须保持在 主权边界内（私有云、气隙集群、Kubernetes、OIDC 认证）。
- 需要 成本透明度（Token 使用量、工具调用、运行时）。
- 团队更倾向于 配置而非代码 – 策略、预算和工具集通过 UI 或 SDK 设置并进行版本控制。
CUGA 在托管模型的公共排行榜（WebArena 2025-2025, AppWorld 2025-2026）上也名列前茅，证明了其优势不仅限于开源权重模型。
何时考虑其他 harness
CUGA 并非万能解决方案。针对特定工作负载，请选择替代方案：
- 终端编码代理 – 使用 opencode, Codex 或 Claude Code。
- 全天候个人助理 – Hermes (Nous Research) 在以聊天为中心的上下文中表现出色。
- 空白画布图工作流 – LangGraph 提供低级灵活性；CUGA 本身就是构建在 LangGraph 之上的。
如何亲自尝试 CUGA
- 策略游乐场 – 策略执行的交互式演示：https://huggingface.co/spaces/ibm-research/cuga-policy-playground
- 复现基准测试 – 完整的评估代码：https://github.com/cuga-project/harbor-eval
- GitHub 仓库 – 加星并 fork：https://github.com/cuga-project/cuga-agent
- 快速安装指南 – 运行本地实例：https://github.com/cuga-project/cuga-agent#quick-install
IBM Research 团队邀请社区提交针对相同 AppWorld 任务的其他 harness 配置；结果将被重新运行并透明发布。
本研究的局限性
- 该比较仅涵盖来自单个基准测试的 90 个任务，因此研究结果可能无法推演到所有企业场景。
- Harness 设置在细节上有所不同（例如，工具短名单、中间件），这可能会影响性能。
- 在基准测试期间未激活 策略执行，因此测得的增益完全源于编排逻辑，而非规则检查。
总结
选择正确的代理 harness 与选择模型本身同样关键。在与相同模型的正面测试中，CUGA 以企业为中心的设计实现了 Hermes 两倍以上、Deep Agents 近三倍的任务完成率，证明了 harness 级别的编排、验证和策略执行是可靠的企业级 AI 代理的决定性因素。