bug0inc/passmark

해결하는 문제

Passmark는 전통적인 선택자 기반 브라우저 회귀 테스트의 취약성을 제거하기 위해 설계된 Playwright 라이브러리입니다. 개발자는 자연어로 테스트를 작성할 수 있어 DOM 구조가 변경되더라도 테스트가 깨지지 않으며, 다중 모델 AI 공감 엔진을 통해 높은 신뢰도의 검증을 제공합니다.

작동 방식

Passmark는 Playwright와 통합되어 평범한 영어로 기술된 브라우저 단계를 실행합니다. AI 모델을 사용해 이러한 설명을 액션으로 변환합니다. 안정성과 정확성을 보장하기 위해 다음과 같은 핵심 메커니즘을 사용합니다:

• 다중 모델 공감: 검증은 Claude와 Gemini가 병렬로 수행됩니다. 의견이 다를 경우, 제3의 중재 모델이 갈등을 해결합니다.
• 지능형 캐싱: 성공한 액션은 Redis에 저장됩니다. 이후 실행에서는 캐시된 액션을 먼저 사용하고, 실패할 경우 AI 실행으로 전환하며, 실패 시 캐시를 자동으로 복구합니다.
• 실행 모드: 효율성을 위해 표준 ARIA 접근성 스냅샷을 지원하며, OpenAI의 컴퓨터 사용 에이전트를 사용하는 'CUA 모드'(Computer Use Agent)를 통해 시각적, 스크린샷 기반 자동화를 제공합니다.
• 비디오 검증: 일시적인 UI 요소(예: 토스트 메시지)의 경우, 단계 실행을 기록하고 Gemini의 Files API를 사용해 비디오 기반으로 검증을 평가할 수 있습니다.

대상 사용자

특히 AI 코딩 에이전트가 자주 UI를 수정하는 환경에서 CSS 선택자나 XPath를 지속적으로 업데이트하지 않고도 안정적인 엔드투엔드 브라우저 테스트를 유지하고자 하는 QA 엔지니어 및 개발자에게 적합합니다.

주요 특징

• 자연어 단계: 엄격한 코드 선택자 대신 설명의 시퀀스로 테스트를 작성할 수 있습니다.
• 공감 기반 검증: 여러 LLM을 사용해 테스트 결과를 검증함으로써 테스트의 불안정성을 줄입니다.
• 자동 복구 캐시: 전통적 테스트의 속도와 AI의 UI 변경에 대한 적응 능력을 결합합니다.
• 유연한 AI 라우팅: 직접 프로바이더 SDK 또는 Vercel, OpenRouter, Cloudflare와 같은 AI 게이트웨이를 지원합니다.
• 통합 이메일 테스트: 일시적 이메일 제공업체를 내장 지원하여 인증 흐름을 테스트할 수 있습니다.