Unreal Agent: 非同期ハーネスによるLLMツール管理オーバーヘッドの低減

Unreal Agentは、モデルの推論ループからツール実行を分離することで、AIエージェントの運用コストを削減します。非同期ハーネスを実装することで、下位のLLMが待機、ポーリング、ハートビートを管理する必要がなくなり、実世界のワークロードにおいてCodexと比較して最大40%、Piと比較して20%のコスト削減を実現します。

非同期ツール呼び出しアーキテクチャ

Unreal Agentは同期的なツール実行を、非同期なイベントログシステムに置き換えます。従来のエージェントハーネスでは、モデルが長時間実行されるタスクの状態をポーリングしたり、ツールの結果を待ってから処理を進めるために、多くのトークンを無駄に消費することがあります。

Unreal Agentは以下の通りこのプロセスを最適化します：

即時状態ログ記録: ツールが呼び出されると、ハーネスは即座に「実行中」というイベントログレコードを追加します。
バックグラウンド実行: ツールはモデルをブロッキングせずにバックグラウンドで実行を継続します。
並列処理: エージェントは、1回のモデルターンで複数の異種ツール呼び出し（例：開発環境のセットアップと同時にWeb検索）をスケジューリングできます。
イベント駆動の再開: ツールが完了すると、結果がセッションログに追加され、LLMがその出力を処理するよう呼び出されます。

このアーキテクチャにより、バックグラウンドのツール呼び出しが完了するのを待たずにリアルタイムでエージェントを制御できるようになり、ライフサイクル管理に関連する「トークン税」を削減できます。

パフォーマンスとコストベンチマーク

GPT-6 Astra (xhigh推論負荷) を用いてテストされた結果、Unreal Agentは複数のコーディングベンチマークにおいて、競争力のあるパス率を維持しながら、より高いコスト効率と低いトークン使用量を示しました。

Terminal-Bench 4.0

Unreal Agentは1,428ドルの総コストで57.9%のパス率を達成しました。一方、Codexは2,350ドルのコストで同じ57.9%のパス率を達成しています。同じ成果を得るためにかかる総支出を大幅に削減しています。

SWE-Atlas Codebase QnA

Unreal Agentは936ドルの総コストで65.8%のパス率を達成し、Codex（63.3%、1,303ドル）とPi（64.0%、1,033ドル）を上回りました。

DeepSWE 1.1

Unreal Agentは1,367ドルの総コストで72.4%のパス率を達成しました。Codex（69.0%、1,633ドル）とPi（69.6%、1,584ドル）と比較して優れています。

Agents’ Last Exam (ALE-CLI)

Unreal Agentは217ドルの総コストで30.0%の完全パス率を記録しました。CodexとPiはそれぞれ29.0%の完全パス率を達成しましたが、コストはより高くなっています（292ドルと262ドル）。

エンジニアリングのトレードオフと設計哲学

Unreal Labsは、既存のCLI指向SDKにいくつかの制限があると指摘し、Unreal Agentの開発を促した背景を説明しています：

プロダクションとの不一致: 多くのSDKはローカルセッションやサブプロセスを前提としており、信頼性の高いキャンセルやバックグラウンドタスク管理が求められるプロダクション環境ではスケーラビリティが困難です。
依存性リスク: 第三者SDKの重い依存関係ツリーは、メンテナンスとサプライチェーンリスクを引き起こします。
セキュリティ: チームは、確定的な環境制約（例：サンドボックスホストや細粒度のアクセストークン）の方が、ハーネスレベルのセキュリティフックよりも堅牢であると主張しています。

効率を最大化するために、Unreal Agentはサブエージェントや複雑なワークフローの使用を避け、シンプルなプロンプトとトークン最適化されたツール結果に依存しています。

コミュニティの洞察と技術的批判

開発者間の議論から、非同期アプローチの可能性と課題が浮き彫りになっています：

プログラム的ツール呼び出しとの比較: 一部のユーザーは、これは「Programmatic Tool Calling」(PTC) やツールを非同期に呼び出すためのプログラム（例：TypeScript）を返す技術と似ており、AIラボで既に検討されている手法であると指摘しています。
「ポーリング」問題: 評価者たちは、Codexなどの競合製品が高コストになる主な理由は、ポーリングタスクに対して「ホットループ」が発生していることだと指摘しており、これらのループを修正すればUnreal Agentが主張するようなコスト削減が達成可能であると述べています。
セルフホスティングの視点: 一部の開発者は、セルフホスティングモデルの場合はコスト最適化が「反機能」と捉えられ、むしろ非フロンティアモデルの全コンテキストウィンドウを活用して最良の結果を得ることを最優先すべきだと主張しています。
命名に関する懸念: 複数のコメント者が、Epic GamesのUnreal Engineとの商標権の潜在的な衝突を指摘していますが、このツールはゲーム開発とは一切関係ありません。

"ヘッドラインのグラフはやや奇妙です。なぜかAstra xhigh上で動作する自社ハーネスと、Astra maxで動作するCodexを比較しているようです。... Codexが多くのトークンを使う大きな理由は、自身が開始したポーリングタスクに対してほぼ無意味な理由でホットループしているからです。"

利用可能状況

Unreal Agentは、直接統合可能なGoライブラリ、CLI用の実行可能ファイル、Harborフレームワークと互換性のあるベンチマークランナーとして利用可能です。ソースコードはGitHubで公開されており、github.com/unreallabsai/unreal-agent にホストされています。