AMAP-ML/LongHorizon-Harness

LongHorizon‑Harness – コンピューター使用エージェントのためのループエンジニアリング

概要

• 既存の LLM 駆動エージェント（Claude Code、Codex、OpenCode、DeepSeek Harness）を ループ でラップし、実際のデスクトップアプリケーションやターミナル上で数時間実行できるようにする Python ベースのフレームワーク。
• ループは毎回実行される 3 つの役割で構成されます：
  1. Manager – 目標、検証済みの進捗、失敗の証拠を再構成し、次の境界のあるステップを計画します。
  2. Executor – 新しいコンテキストでそのステップを実行します（GUI クリック/タイピングまたは CLI コマンド）。
  3. Auditor – ファイルシステム、UI、ログ、テストを独立して検査し、ステップが実際に成功したかを検証します。
• 検証された結果のみが永続的なタスク状態の一部になります。失敗は次のラウンドの証拠として記録されます。

重要性

• 既存のコード生成エージェントは単一ターンのプロンプトには優れていますが、長く複数ステップのコンピューター使用タスクでは失敗します。LongHorizon‑Harness は、欠けている実行、検証、回復メカニズムを提供し、エージェントが多くのアプリケーションにまたがる複雑なワークフローを完了できるようにします。
• モデルを 再トレーニングせずに 動作します – ハーネスを既に使用しているエージェントに向けるだけです。

主な機能

• ワンコマンドインストール（uv tool install lh-harness または pip install lh-harness）。
• マルチバックエンドサポート – Claude Code、Codex CLI、OpenCode、DeepSeek Harness、または任意のカスタム AgentAdapter。
• GUI + CLI カバレッジ – 単一のタスクで、クリック、タイピング、スクロール、ドキュメント編集、ターミナルコマンド実行、パッケージインストールなどが可能。
• ダッシュボード – React/FastAPI Web ワークベンチ（lh-harness web）で、実行の開始、承認への応答、実行中指示の送信、ログの検査が可能。
• プラグインシステム – コンピューター使用プラグイン（codex-computer-use、open-computer-use、clawdcursor）をインストールして、エージェントに OS レベルの制御を提供。
• 堅牢な回復 – 失敗したラウンドの証拠が次の計画ステップにフィードバックされます。実行は一時停止、再開、またはフォローアップクエリで継続できます。
• ロールレベルの設定 – Manager、Executor、Auditor のそれぞれに異なるモデルまたはバックエンドを使用できます。
• 診断 – lh-harness doctor が環境（Python、エージェントバイナリ、Node.js、権限）をチェックします。

ベンチマークと結果

ベンチマーク	指標	ベースライン（Claude Code）	LongHorizon‑Harness	向上
WeaveBench（114 タスク）	合格率	51.8%	80.7%	+28.9%
WeaveBench	総合スコア	0.702	0.835	+0.133
OSWorld 2.0（108 タスク）	バイナリ成功	2.8%	8.3%	3×
OSWorld 2.0	部分成功	21.5%	35.2%	+13.7%
Terminal‑Bench 2.1	成功率	69.7%	77.2%	+7.5%
すべての実験で、基盤モデルとして Qwen 3.7‑Plus、実行バックエンドとして Claude Code を使用しました。

典型的なワークフロー

1. ハーネスとコンピューター使用プラグインを インストール します。
2. プロジェクトで lh-harness init を実行して config.toml を作成します。
3. 実行を開始 – Web UI（lh-harness web --workspace-root .）または CLI から直接：

   TASK="Inspect the current directory and summarize its files."
   lh-harness run --task "$TASK" --agent codex
   

4. ハーネスは繰り返し：
   • 次のステップを計画し、
   • 選択した環境で実行し、
   • 結果を検証し、
   • 進捗をチェックポイントするか、失敗の証拠を記録します。
5. 目標に達すると、平易な言葉の最終回答が印刷され、JSON レポートが ./.lh-harness/runs/<run‑id>/ に保存されます。

インストールスナップショット

# 推奨される分離インストール
uv tool install lh-harness   # または：pip install lh-harness

# コンピューター使用プラグインのインストール（Claude Code の例）
lh-harness plugin install open-computer-use

# プロジェクトの初期化
cd /my/project
lh-harness init

サポートされているプラットフォーム

• macOS で開発・テスト済み。Windows サポートは現在 WSL2 が必要です（POSIX のみのプリミティブが不足しています）。
• Python ≥ 3.10、プラグイン用に Node.js ≥ 20、選択したエージェントバイナリが PATH にある必要があります。

ライセンス

• MIT ライセンス（LICENSE を参照）。

---

結論 – LongHorizon‑Harness は、実用的でオープンソースの「ループエンジニアリング」レイヤーであり、任意の LLM ベースのコード/アシスタントエージェントを、実際の GUI および CLI ワークフローを処理できる信頼性の高い長期実行コンピューター使用システムに変えることができます。