Armature: MCP 에이전트 세션을 위한 제품 분석 및 평가

Armature는 Claude, ChatGPT, Cursor와 같은 AI 클라이언트 내에서 발생하는 에이전트 세션을 위해 특별히 설계된 제품 분석 플랫폼입니다. 전통적인 UI 분석과 달리, Armature는 AI 클라이언트 인터페이스 내부에서 발생하는 상호작용을 캡처하여 사용자가 Model Context Protocol (MCP) 서버, Claude Connectors, ChatGPT Apps를 통해 제품과 어떻게 상호작용하는지에 대한 가시성을 제공합니다.

자동화된 유스케이스 발견 및 순위 지정

Armature는 모델을 사용하여 모든 세션을 분석하여 사용자의 주요 의도를 파악합니다. 이를 통해 제품 팀은 세션을 특정 유스케이스로 그룹화하고 사용량 및 성공률에 따라 순위를 매길 수 있습니다. 결정적으로, 이 플랫폼은 사용자가 시도하고 있지만 제품이 아직 지원하지 않는 "unsupported" 유스케이스(지원되지 않는 유스케이스)를 식별하여, 실제 사용자 수요에 기반한 기능 개발을 위한 직접적인 로드맵을 제공합니다.

문제 식별 및 근본 원인 분석

Armature는 세션을 스캔하여 실패, 루프, 막다른 길을 찾아내고 이를 근본 원인별로 그룹화합니다. 이 플랫폼은 API 응답이 200 OK 상태를 반환하더라도 실패를 식별할 수 있습니다. 즉, API 호출은 기술적으로 성공했지만 에이전트가 사용자의 목표를 달성하지 못한 논리적 실패를 감지할 수 있습니다. 식별된 문제의 예시는 다음과 같습니다:

Agent Loops: 인증 범위(authentication scopes) 누락으로 인한 반복적인 함수 호출 시도.
Search Misses: 특정 문구(예: "refund")로 인해 발생한 검색 실패.
Pagination Errors: 페이지네이션 제한으로 인한 데이터 잘림.
Rate Limiting: 대량 업데이트 작업 중 발생하는 실패.

세션 리플레이 및 평가

모든 세션은 사용자의 의도가 성공적으로 충족되었는지 여부에 따라 점수가 매겨집니다. 개발자는 초기 사용자 요청, 에이전트의 내부 사고 과정, 그리고 이후의 모든 도구 호출을 포함하는 세션의 전체 트레이스를 리플레이할 수 있습니다. 이러한 가시성을 통해 팀은 세션이 정확히 어느 지점에서 무너졌는지 정확히 짚어낼 수 있습니다.

통합 및 배포

Armature는 기존 MCP 서버, Claude Connector 또는 ChatGPT App 백엔드를 래핑하는 SDK를 통해 통합됩니다. 회사에 따르면, API 키를 생성하고 코딩 에이전트를 사용하여 SDK를를 배포에 연결하면 몇 분 만에 SDK를 구현할 수 있습니다.

지원되는 클라이언트

Armature는 MCP 서버에 도달할 수 있는 모든 클라이언트를 지원하며, 여기에는 다음이 포함됩니다:

Claude
ChatGPT
uma Cursor
Codex
Gemini CLI

데이터 프라이버시 및 보안

민감한 정보를 처리하기 위해, Armature는 세션을 스캔하고 데이터가 저장소에 도달하기 전에 기본적으로 개인 식별 정보(PII) 및 비밀 정보를 삭제(redact)하는 탐지 모델을 사용합니다. 사용자는 데이터 보존 정책을 제어할 수 있으며 언제든지 데이터를 삭제할 수 있습니다.

기존 도구와의 비교

Armature는 대상 사용자 및 캡처하는 데이터 유형에 따라 다른 관측성(observability) 및 분석 도구와 차별화됩니다:

Tool Category	Focus	Armature's Difference
UI Analytics (e.g., PostHog, Amplitude)	자체 UI에서의 인간의 클릭.
Captures sessions happening inside third-party AI clients where the product owner has no UI control.
Agent Observability (e.g., LangSmith, Langfuse)	개발자가 구축한 에이전트의 엔지니어링 중심 관측.
Product-focused analysis of how users' agents experience the product.

커뮤니티 피드백 및 질문

한 커뮤니티 구성원이 기술적 구현 및 기존 로깅 프레임워크 대비 Armature의 필요성에 대해 질문을 제기했습니다:

"How is it actually getting the model's thoughts? ... If im already logging MCP calls with OpenTelementry or BrainFuse why would i need Armature?"

이러한 질문은 원시 기술 로깅(OpenTelemetry를 통한)과 Armature가 제공하는 고수준 제품 분석(의도 발견 및 성공 점수 매기기) 사이의 긴장 관계를 보여줍니다.