Ax-check: 소프트웨어 제품의 에이전트 경험(Agent Experience, AX) 측정하기

Ax-check는 소프트웨어 제품의 "에이전트 경험"(AX)을 측정하기 위해 설계된 도구입니다. 이 도구는 세 개의 별도 에이전트를 배포하여 제품의 온보딩 프로세스를 종단 간(end-to-end)으로 성공적으로 탐색할 수 있는지 평가합니다. 또한 문서, 마케팅 사이트, 명령줄 인터페이스(CLI), 모델 컨텍스트 프로토콜(MCP) 구현, 스킬 등에 필요한 개선 사항에 대해 구체적인 지침을 제공합니다.

Ax-check가 제품 접근성 평가하는 방식

Ax-check는 실제 세계의 온보딩 시도를 시뮬레이션하여 제품이 AI 에이전트에게 얼마나 접근 가능한지를 평가합니다. 에이전트가 정보를 찾고 설정 작업을 완료할 수 있는 능력에 따라 A부터 F까지의 등급과 100점 만점의 수치 점수를 부여합니다.

주요 평가 영역은 다음과 같습니다:

• 문서 및 마케팅 사이트: 홈페이지와 문서가 에이전트가 읽을 수 있는지 확인합니다. 예를 들어, Markdown이 없거나 명확한 설치 지침이 없는 사이트는 점수에서 감점됩니다.
• CLI 및 MCP 통합: 제품이 CLI 또는 MCP를 통해 얼마나 깔끔하게 설치되는지 평가합니다. 계정 생성 없이도 설치가 가능한 제품은 에이전트 경험 측면에서 더 우수하다고 기록됩니다.
• 가격 정보 명확성: 에이전트가 가격 정보를 쉽게 탐색하고 검증할 수 있는지 분석합니다.

AX 점수 및 결과 분석

Ax-check가 최근 수행한 점검 결과는 AI 에이전트가 자주 마주하는 장애 요소를 드러냅니다:

• 우수 성과자 (등급 A): Kernel, Loops, Increase, Snyk와 같은 회사들은 완벽한 100/100 점을 기록하여, 그들의 온보딩 흐름이 에이전트 시스템에 매우 최적화되어 있음을 보여줍니다.
• 보통 성과자 (등급 B): 많은 제품이 79~82점 사이의 점수를 받습니다. 일반적인 장애 요소로는 홈페이지에 Markdown이 없거나, 가격 및 설치 단계가 문서 가이드는 좋지만 검증되지 않은 경우가 있습니다.
• 저조 성과자 (등급 F): 에이전트가 읽을 수 있는 문서가 전혀 없고, 단순한 홈페이지만 제공하는 사이트는 일반적으로 0/100 점을 받습니다.

커뮤니티 인사이트 및 기술적 고려 사항

Hacker News에서 도구에 대해 논의하는 사용자와 개발자들은 AX 최적화에 관한 여러 기술적 및 전략적 고려 사항을 제기했습니다:

• 에이전트 전용 장애 요소: 일부 사용자는 표준 Python urllib User-Agent가 특정 보안 설정(예: 403 오류)에 의해 차단될 수 있다고 보고했습니다. 이는 제품의 AX 점수를 의도치 않게 낮출 수 있습니다.
• 보안 vs. 접근성: 완전한 에이전트 기반 온보딩을 가능하게 하면서도 보안을 유지하는 것 사이에는 본질적인 갈등이 있습니다. 한 사용자는 에이전트 온보딩을 용이하게 하기 위해 인간 식별 요구 사항을 제거하면, 레이트 제한을 쉽게 우회할 수 있을 것이라고 지적했습니다.
• 검증의 어려움: 일부 사용자는 Ax-check의 결과와 Claude와 같은 LLM을 수동으로 테스트한 결과 사이에 차이가 있음을 관찰했으며, 도구가 사용하는 특정 에이전트가 일반적인 LLM 인터페이스와 다른 장애 요소에 직면할 수 있음을 시사합니다.

"실시간 봇을 활용해 실시간 방문자 경험을 시연하는 것은 좋은 아이디어입니다. 예상치 못한 장애 요소를 만났어요 (기본 Python urllib User-Agent가 anc.dev에서 403 에러를 발생시킴)"

"인간 식별이 제대로 이루어지지 않은 상태에서 완전한 에이전트 기반 온보딩을 허용하는 것은 어떻게 생각하시나요? 레이트 제한을 거의 쉽게 우회할 수 있을 것 같아요."

다른 AX 도구와의 비교

Ax-check는 종단 간 온보딩 경험에 초점을 맞추지만, anc.dev과 같은 다른 도구는 더 다양한 준수 테스트와 바이너리 감사에 초점을 맞추어 CLI 도구가 에이전트 시스템에 탐색 가능하고 유용한지 확인합니다.