QoderAI/better-harness

An open-source Harness Engineering platform for coding agents—define harnesses as code, run controlled experiments, inspect evidence, and compare outcomes. Turn task evidence into actionable team and organization insights.

Better Harness – AIコーディングエージェントのためのコーチ

機能

  • AI搭載のコーディングアシスタント(Claude Code、Codex、Cursor、GitHub Copilot、Qoderなど)を使用する際、Better Harnessは 作業ループ 全体を監視します:タスクの説明、エージェントが実行するコマンド、変更されるファイル、実行されるテストやリンター、そして最終的なレビュー手順。
  • ホストが提供できるあらゆる証拠(プロジェクトファイル、セッションのトランスクリプト、CIログなど)を収集し、5つの側面からワークフローを評価します:
    1. タスク理解 (Task Understanding) – エージェントは目標と「完了」の定義を理解しているか?
    2. 制御された実行 (Controlled Execution) – 手順は再現可能で、定義されたツールによって制限されているか?
    3. 変更の検証 (Change Validation) – 変更が機能しているという具体的な証拠(テスト、lint、診断)があるか?
    4. 信頼性の高いデリバリー (Reliable Delivery) – レビューやCIなどの品質ゲートチェックが適用されているか?
    5. 学習のキャプチャ (Learning Capture) – 次のタスクは学んだことから恩恵を受けているか?
  • 欠落している証拠は推測されるのではなく、明示的に表示されます。ギャップが存在する場合、Better Harnessは以下を含む 優先順位付けされた調査結果 を作成します:
    • ギャップの影響、
    • 期待される結果、
    • スコープが明確な修正計画(「AI修正」)、および
    • チームが実行できる受け入れチェック。
  • 出力は、調査結果、証拠ソース、プロンプト、ツール呼び出し、コミットのタイムラインを視覚化する自己完結型のHTMLレポート(MarkdownとJSONが付属)です。

使用方法

  • すでに使用しているコーディングエージェント用のプラグインをインストールします(Claude Code、Codex Desktop/CLI、Qoder Desktop/CLI、Cursor、GitHub Copilot CLIなど)。READMEにホスト固有のインストールコマンドが記載されています。単一のユニバーサルなエントリーポイントはありません。
  • 分析したいリポジトリの新しいセッションで、スラッシュコマンドを実行します:
    /better-harness analyze this project's AI coding workflow and generate an evidence‑backed report
    
  • ホストはホスト固有のフォルダーに report.html(および report.md と findings.json)を作成します。HTMLを開いて調査結果を探索するか、Markdownを表示して簡単な要約を確認できます。
  • 個別のCLI(better-harness plugin status …、better-harness doctor …)を使用すると、ホストのUIに触れることなく、サポートされているすべてのホストでプラグインのインストール状態を検査できます。

重要性

  • AIコーディングエージェントはコードを高速に生成できますが、チームはコードが どのように 生成されたかを把握しきれないことがよくあります。目標が曖昧で、手順が即興的で、検証が不完全で、教訓が忘れ去られる可能性があります。Better Harnessは、これらの隠れた部分を可視化し、曖昧な摩擦を具体的で実行可能な改善項目に変えます。
  • 証拠を明示的に保つことで、このツールは過度に楽観的なスコアを避け、AIの速度を享受しながら開発プロセスを強化するための明確な道筋をチームに提供します。

対象ユーザー

  • すでにAIコーディングアシスタントを使用しており、周囲のワークフローを監査および改善したいチーム。
  • AI生成による変更の品質と再現性を体系的に把握したいエンジニアリングマネージャー。
  • AIエージェントがタスク中に実際に何をしたかについて、視覚的で証拠に基づいたレポートを求める開発者。

プロジェクトの健全性

  • npmパッケージ (@qoder-ai/better-harness) として公開されており、MITライセンスです。
  • サポートされているホストのリストは拡大中です(Claude Code、Codex、Qoder、Cursor、GitHub Copilot、および Qwen Code、Pi、Kimi Code、WorkBuddy、Grok)。
  • 開発にはNode 22+が必要で、テスト、パッケージングスクリプト、プレビューサーバーが含まれています。
  • 貢献ガイドでは、新しいホストアダプター、評価モデル、またはワークフローガイダンスの追加を推奨しています。

結論 Better Harnessは、AIコーディングエージェントを監視し、その実際の行動を記録し、証拠のギャップを具体的で優先順位付けされた改善ステップに変えるオープンソースの「コーチ」です。チームがAIの速度を維持しながら、各タスクから制御、再現性、学習を取り戻すのを支援します。

関連

  • Dispatch
  • プロジェクト
  • プロジェクト
  • Dispatch
  • プロジェクト