Gauge CLI: 에이전트 경험 개선을 위한 오픈소스 도구

개요

Gauge는 개발자가 AI 코딩 에이전트가 자신의 제품과 얼마나 효과적으로 상호작용하는지 테스트할 수 있도록 하여 "에이전트 경험"(AX)을 개선하기 위해 설계된 오픈소스 명령줄 인터페이스(CLI)입니다. Gauge는 로컬 컨테이너 환경에서 실제 코딩 에이전트를 실행함으로써, 에이전트가 차단형 대화형 명령을 만나거나, 더 이상 사용되지 않는 API에 의존하거나, 사용 가능한 도구를 발견하지 못하는 등 에이전트가 어려움을 겪는 지점을 식별하도록 돕습니다.

개선 루프

Gauge는 측정, 분석, 개선의 지속적인 순환 과정인 "힐클라이밍(hillclimbing)" 프로세스를 촉진합니다. 워크플로우는 다음과 같이 작동합니다:

  1. 작업 정의: 개발자는 성공을 위한 구체적인 기준을 정의하는 Markdown 또는 SQLite 기반 프롬프트를 사용하여 평가 케이스를 생성합니다.
  2. 샌드박스에서 테스트: Docker를 사용하여 Gauge는 격리된 환경을 가동하며, 여기서 에이전트는 개발자의 현재 코드, 문서 또는 기술을 사용하여 작업을 완료하려고 시도합니다.
  3. 마찰 지점 식별: Gauge는 다양한 에이전트(Claude Code, Codex, Pi, OpenCode 포함)의 기록을 정규화하여 에이전트가 어디에서 차단되거나 혼란을 겪었는지 정확히 찾아냅니다.
  4. 개선 및 재테스트: 개발자는 문서, 도움말 텍스트 또는 코드에 수정 사항을 적용한 다음, 평가를 다시 실행하여 마찰 지점이 해결되었는지 확인합니다.

로컬 vs 호스팅 실행

Gauge는 다양한 개발 요구 사항을 수용하기 위해 두 가지 운영 모드를 제공합니다:

  • 로컬 모드: Docker를 사용하여 개발자의 컴퓨터에서 완전히 실행됩니다. Gauge 계정이 필요 없으며 SQLite 측정값 및 기록을 포함한 모든 데이터를 프로젝트 내에 로컬로 유지합니다. 이는 작업 트리 변경 사항에 대한 빠른 반복 작업에 이상적입니다.
  • 호스팅 Gauge: 팀을 위한 관리형 인프라를 제공합니다. 결과 공유, 자동화된 평가, 그리고 인증된 API나 지속적인 세션이 필요한 MCP(Model Context Protocol) 서버와 같은 더 복잡한 입력을 테스트할 수 있는 기능을 제공합니다.

주요 기능

Gauge는 개발자의 기존 워크플로우에 직접 통합되도록 구축되었습니다. 주요 기능은 다음과 같습니다:

  • 기술 테스트: 에이전트가 리포지토리에 제공된 사용자 지정 "기술(Skills)" 또는 지침을 성공적으로 발견하고 활용할 수 있는지 검증합니다.
  • 증거 수집: 구조화된 결과와 판단을 자동으로 캡처하여 개발자가 에이전트가 특정 기준을 통과하지 못한 이유를 정확히 확인할 수 있게 합니다.
  • 비교 도구: 테스트 결과 배치를 비교하는 명령을 제공하여 변경 사항이 성능을 향상시켰는지 또는 새로운 문제를 야기했는지 쉽게 확인할 수 있습니다.
  • 웹 픽스처: 개발자가 문서나 웹 기반 콘텐츠의 변경 사항을 공식적으로 게시하기 전에 테스트하여 에이전트의 환경이 의도한 미래 상태를 반영하도록 보장합니다.

시작하기

Gauge 사용을 시작하려면 개발자는 npm을 통해 CLI를 설치하고 필요한 런타임을 가져와야 합니다:

npm install -g @withgauge/cli
gauge local runtime pull

설치 후 gauge init --local을 실행하면 프로젝트 디렉토리 내에 개인 작업 공간이 생성됩니다. 그곳에서 개발자는 평가 케이스를 정의하고 기술을 설치하여 에이전트 대면 인터페이스 테스트를 시작할 수 있습니다. 이 도구는 MIT 라이선스에 따라 라이선스가 부여되며 GitHub에서 사용할 수 있습니다.

Sources