Gauge CLI:用于改善智能体体验的开源工具

概述

Gauge 是一个开源命令行界面 (CLI),旨在通过让开发者测试 AI 编码智能体与其产品的交互效果,从而改善“智能体体验”(AX)。通过在本地容器化环境中运行真实的编码智能体,Gauge 有助于识别智能体在何处遇到困难,例如遇到阻塞性交互命令、依赖已弃用的 API 或无法发现可用工具时。

改进循环

Gauge 促进了一种“爬山”过程——即测量、分析和优化的持续循环。工作流程如下:

  1. 定义任务: 开发者使用 Markdown 或基于 SQLite 的提示词创建评估用例,定义具体的成功标准。
  2. 沙盒测试: 使用 Docker,Gauge 会启动隔离环境,智能体在其中尝试使用开发者当前的代码、文档或技能来完成任务。
  3. 识别摩擦点: Gauge 会标准化来自各种智能体(包括 Claude Code、Codex、Pi 和 OpenCode)的转录内容,以查明智能体在何处被阻塞或困惑。
  4. 优化与重测: 开发者对文档、帮助文本或代码进行修复,然后重新运行评估以验证摩擦点是否已解决。

本地与托管执行

Gauge 提供两种操作模式以满足不同的开发需求:

  • 本地模式: 完全在开发者的机器上使用 Docker 运行。它不需要 Gauge 账户,并将所有数据(包括 SQLite 测量结果和转录内容)保留在项目本地。这非常适合对工作树更改进行快速迭代。
  • 托管 Gauge: 为团队提供托管基础设施。它支持共享结果、自动评判,以及测试更复杂的输入,例如可能需要持久会话的身份验证 API 或 MCP (Model Context Protocol) 服务器。

核心功能

Gauge 旨在直接集成到开发者现有的工作流程中。主要功能包括:

  • 技能测试: 验证智能体是否能成功发现并利用存储库中提供的自定义“技能”或指令。
  • 证据收集: 自动捕获结构化的发现和判断结果,让开发者能够准确查看智能体为何未能通过特定标准。
  • 比较工具: 提供比较测试结果批次的命令,可以轻松查看更改是提高了性能还是引入了新问题。
  • Web 固定装置: 允许开发者在文档或基于 Web 的内容正式发布之前对其进行测试,确保智能体的环境反映预期的未来状态。

入门指南

要开始使用 Gauge,开发者可以通过 npm 安装 CLI 并拉取所需的运行时:

npm install -g @withgauge/cli
gauge local runtime pull

安装完成后,gauge init --local 会在项目目录中创建一个私有工作区。此后,开发者可以定义评估用例并安装技能,开始测试其面向智能体的接口。该工具采用 MIT 许可证,可在 GitHub 上获取。

Sources