CUGAハーネスがAppWorldベンチマークでHermesとDeep Agentsを凌駕

TL;DR

IBMのオープンソースCUGAハーネスは、同じGLM‑5.3‑flashモデルでAppWorldベンチマークタスクの**81%**を完了し、Hermes（47%）やDeep Agents（30%）を大きく上回りました。この結果は、エンタープライズ自動化において、モデルだけでなくハーネスが信頼性、ルールの強制、展開可能性を決定することを示しています。

実験はハーネスの重要性を証明

管理されたテストでは、3つの人気エージェントハーネス（CUGA、Hermes、Deep Agents）を同じオープンウェイトモデル（GLM‑5.3‑flash）で、90のAppWorldタスク（30のマルチアプリシナリオ）にわたって実行しました。すべての実行はHarbor評価フレームワークと同一のタスク入力を使用し、ハーネス設定のみが異なりました。結果は以下の通りです：

ハーネス タスク完了率（TGC） シナリオ完了率（SGC）
CUGA 81.1%（73/90） 66.7%（20/30）
Hermes 46.7%（42/90） 26.7%（8/30）
Deep Agents 30.0%（27/90） 6.7%（2/30）

SGCメトリクスは、シナリオの3つのバリアントすべてが成功することを要求するため、一貫性を重視します。CUGAは次点のハーネスの3倍以上のシナリオ成功を達成しました。

「最も有用な数値はSGCです。シナリオは3つのバリアントすべてが成功した場合のみ合格となるため、SGCは運ではなく一貫性に報います。ここでの差はさらに大きく、CUGAは20シナリオ、Hermesは8シナリオ、Deep Agentsは2シナリオです。」 – IBM Researchブログ

CUGAが優れている理由：主要なハーネス機能

CUGAのアーキテクチャは、モデルからハーネスへ意思決定をオフロードするコンパクトで反復可能なループを追加します：

  • タスク分解 – マルチアプリリクエストをシングルアプリステップに分割し、組み合わせ的なツール選択を削減。
  • 焦点を絞ったツールセット – 各ステップは、そのアプリに関連するツールと少数の共有ユーティリティのみを表示し、469の全ツールのノイズを回避。
  • ツールショートリスター – ステップが必要とする追加ツールを動的に発見。
  • CodeActとサンドボックス – モデルはAPIを呼び出すPythonを生成し、コードは時間制限付きの制限された環境で実行。
  • 実行前検証 – 状態を変更するすべてのコードブロックは、実行前にレビューされます。
  • 自動リフレクション – 各ステップ後、ハーネスは結果を監査し、計画を修正し、ページネーションの問題をフラグします。

これらの強制ポイントは、誤った決定を劇的に減らし、問題を早期に表面化させ、全体的な成功率を向上させます。

プロンプトを超えたビジネスルールの強制

エンタープライズエージェントは、厳格なポリシー（例：支払い制限、PII処理）に従わなければなりません。CUGAはそのようなルールを脆弱なシステムプロンプトから、ハーネスが4つの実行ポイントで強制するポリシーレイヤーに移します：

実行ポイント ポリシータイプ 強制アクション 例
ユーザー意図 Intent Guard エージェントアクションの前にブロックまたは回答 全顧客レコードの削除リクエストを拒否
エージェントガイダンス Playbook 標準手順を提供 ステップバイステップの返金ワークフローに従う
ツール実行 Tool Approval 人間の承認を待ち、生成されたコードを表示 支払いツールが実行される前にマネージャーの承認を要求
ツール実行 ToolGuard 許可されていない呼び出しを中止するハードチェック 1,000ドルを超える支払いをブロック
最終応答 Output Formatter 承認されたテンプレートに回答を整形 コンプライアンス承認済みの返信形式を使用

Policy Playgroundデモは、同じユーザーメッセージが2つの異なる結果を生むことを示しています：制限のないエージェントは90ドル（拒否された請求を含む）を支払う一方、ポリシー対応エージェントは承認のために支払いを保留し、承認された10ドルだけを支払います。

「『借りがあるものをすべて支払う』という指示に対し、ポリシーのないエージェントは回収中の拒否された請求を含む90ドルを支払いました。ポリシーを持つエージェントは支払いを承認のために保留し、支払うべき10ドルだけを支払いました。」 – IBM Researchブログ

CUGAが適切な選択となる場合

CUGAはエンタープライズ自動化向けに設計されており、以下の要件があります：

  • ルールは実行時に強制される必要があり、プロンプトで単に提案されるだけではない。
  • 展開は主権境界内（プライベートクラウド、エアギャップクラスター、Kubernetes、OIDC認証）に留まる必要がある。
  • コスト（トークン使用量、ツール呼び出し、ランタイム）の透明性が求められる。
  • チームはコードよりも設定を好む – ポリシー、予算、ツールセットはUIまたはSDKを介して設定され、バージョン管理される。

CUGAはまた、ホスト型モデル（WebArena 2025‑2025、AppWorld 2025‑2026）で公開リーダーボードのトップに立ち、その利点がオープンウェイトモデルを超えて持続することを示しています。

他のハーネスを検討する場合

CUGAは万能なソリューションではありません。専門的なワークロードには代替を選択してください：

  • ターミナルコーディングエージェント – opencode、Codex、またはClaude Codeを使用。
  • 常時稼働のパーソナルアシスタント – Hermes（Nous Research）はチャット中心のコンテキストで優れています。
  • 白紙のキャンバスグラフワークフロー – LangGraphは低レベルの柔軟性を提供します。CUGA自体もLangGraph上に構築されています。

CUGAを自分で試す方法

IBM Researchチームは、同じAppWorldタスクに対する代替ハーネス設定のコミュニティ提出を歓迎します。結果は再実行され、透明に公開されます。

報告された研究の制限

  • 比較は単一ベンチマークの90タスクのみをカバーしているため、調査結果がすべてのエンタープライズシナリオに一般化されない可能性があります。
  • ハーネス設定は詳細（例：ツールのショートリスト化、ミドルウェア）が異なり、パフォーマンスに影響を与える可能性があります。
  • ベンチマーク中はポリシー強制がアクティブではなかったため、測定された利点はルールチェックではなく、オーケストレーションロジックのみに由来します。

結論

適切なエージェントハーネスの選択は、モデル自体の選択と同じくらい重要です。同一モデルでの直接比較テストで、CUGAのエンタープライズ重視の設計は、Hermesの2倍以上、Deep Agentsのほぼ3倍のタスク完了率を達成し、ハーネスレベルのオーケストレーション、検証、ポリシー強制が信頼性の高いビジネスグレードのAIエージェントにとって決定的な要因であることを証明しました。

Sources