Gauge CLI: エージェント体験を向上させるオープンソースツール

概要

Gaugeは、開発者がAIコーディングエージェントと自社製品との対話効率をテストできるようにすることで、「エージェント体験(AX)」を向上させるために設計されたオープンソースのコマンドラインインターフェース(CLI)です。実際のコーディングエージェントをローカルのコンテナ化された環境で実行することで、Gaugeはエージェントが対話型のブロックコマンドに遭遇したり、非推奨のAPIに依存したり、利用可能なツールを発見できなかったりするような、エージェントが苦戦する箇所を特定するのに役立ちます。

改善ループ

Gaugeは「山登り」プロセス、つまり測定、分析、改善の継続的なサイクルを促進します。ワークフローは以下の通りです。

  1. タスクの定義: 開発者は、成功のための具体的な基準を定義したMarkdownまたはSQLiteベースのプロンプトを使用して評価ケースを作成します。
  2. サンドボックスでのテスト: Dockerを使用して、Gaugeは隔離された環境を立ち上げ、そこでエージェントが開発者の現在のコード、ドキュメント、またはスキルを使用してタスクの完了を試みます。
  3. 摩擦の特定: Gaugeは、さまざまなエージェント(Claude Code、Codex、Pi、OpenCodeなど)からのトランスクリプトを正規化し、エージェントがどこでブロックされたか、あるいは混乱したかを特定します。
  4. 改善と再テスト: 開発者はドキュメント、ヘルプテキスト、またはコードに修正を加え、評価を再実行して摩擦が解消されたことを確認します。

ローカル実行とホスト型実行

Gaugeは、さまざまな開発ニーズに対応するために2つの動作モードを提供しています。

  • ローカルモード: Dockerを使用して開発者のマシン上で完全に実行されます。Gaugeアカウントは不要で、SQLiteの測定値やトランスクリプトを含むすべてのデータはプロジェクト内にローカルに保持されます。これは、作業ツリーの変更に対する迅速な反復に最適です。
  • ホスト型Gauge: チーム向けの管理されたインフラストラクチャを提供します。結果の共有、自動判定、および認証済みAPIや、永続的なセッションを必要とする可能性のあるMCP(Model Context Protocol)サーバーのようなより複雑な入力をテストする機能を実現します。

主な機能

Gaugeは、開発者の既存のワークフローに直接統合できるように構築されています。主な機能は以下の通りです。

  • スキルテスト: エージェントがリポジトリ内で提供されるカスタム「スキル」や指示を正常に発見し、利用できるかを検証します。
  • 証拠収集: 構造化された調査結果と判定を自動的にキャプチャし、開発者がエージェントが特定の基準を満たせなかった理由を正確に把握できるようにします。
  • 比較ツール: テスト結果のバッチを比較するコマンドを提供し、変更によってパフォーマンスが向上したか、あるいは新たな問題が発生したかを簡単に確認できるようにします。
  • Webフィクスチャ: 開発者がドキュメントやWebベースのコンテンツへの変更を正式に公開する前にテストできるようにし、エージェントの環境が意図した将来の状態を反映していることを保証します。

はじめに

Gaugeの使用を開始するには、開発者はnpm経由でCLIをインストールし、必要なランタイムをプルします。

npm install -g @withgauge/cli
gauge local runtime pull

インストール後、gauge init --localを実行すると、プロジェクトディレクトリ内にプライベートワークスペースが作成されます。そこから、開発者は評価ケースを定義し、スキルをインストールして、エージェント向けのインターフェースのテストを開始できます。このツールはMITライセンスの下でライセンスされており、GitHubで入手可能です。

Sources