block/trailblaze

해결하는 문제

Trailblaze는 AI 코딩 에이전트(Claude Code, Cursor, Goose 등)가 iOS, Android, 웹의 실제 장치와 상호작용하고 제어할 수 있도록 해줍니다. 에이전트가 코드를 작성하는 능력과 사용자 인터페이스에서 실제로 액션을 실행할 수 있는 능력 사이의 격차를 메우며, 에이전트 주도 세션을 결정론적이고 재실행 가능한 테스트로 전환하여 LLM이 재실행 시 필요 없이 CI에서 실행할 수 있도록 합니다.

작동 방식

Trailblaze는 CLI 도구로서 에이전트가 화면을 읽기(‘snapshot’을 통해) 및 액션을 수행(‘tool’을 통해)할 수 있도록 합니다. 각 플랫폼의 네이티브 접근성 트리와 UI 의미 체계—Android의 접근성 트리, iOS의 네이티브 UI 의미 체계, 웹의 DOM—를 노출하여 에이전트가 요소를 의미적으로 타겟팅할 수 있도록 합니다.

에이전트가 장치를 제어할 때, 세션은 "trail"(trail.yaml)로 저장됩니다. 이 파일에는 단계의 자연어 설명과 기록된 액션이 포함되어 있습니다. 이러한 트레일은 CI에서 결정론적으로 재실행할 수 있습니다. UI의 작은 변경으로 흐름이 깨졌을 경우, Trailblaze는 내장된 에이전트를 사용해 "자기 복구(self-heal)"를 수행하여 실시간 화면과 비교해 UI의 미세한 차이를 수정할 수 있습니다.

대상 사용자

• AI 에이전트 개발자: UI 테스팅 및 장치 제어를 자동화하기 위해 코딩 에이전트를 개발하거나 사용하는 사람.
• QA 엔지니어: 즉흥적인 AI 기반 탐색을 버전 관리 가능한 회귀 테스트로 전환하고 싶은 사람.
• 앱 개발자: 크로스플랫폼 앱을 개발하고 있으며, 최소 공통 기능에 제한되지 않은 네이티브 품질의 자동화 도구가 필요한 사람.

주요 기능

• 크로스플랫폼 제어: iOS, Android, 웹을 위한 통합 CLI.
• 결정론적 재실행: AI 세션을 trail.yaml 파일로 변환하여 LLM이 필요 없는 CI 대응 테스트로 사용 가능.
• 코드 기반 사용자 정의 도구: TypeScript로 타입 지정된 사용자 정의 명령어(예: login, addToCart)를 정의해 더 복잡한 에이전트 상호작용 가능.
• 에이전트 기술: 코딩 에이전트가 CLI를 빠르게 학습할 수 있도록 포터블한 SKILL.md 형식을 제공.
• 트레이스 뷰어: 각 단계의 스크린샷, 뷰 계층 구조, 비디오를 제공하는 브라우저 기반 리포트 뷰어.
• 자기 복구 테스트: 재실행 중에 작은 UI 차이를 에이전트가 수정할 수 있는 옵션 --self-heal 모드.