Armature: Agentic Sessions를 위한 제품 분석 도구

Armature는 에이전트 세션(agentic sessions)을 위해 특별히 설계된 제품 분석 플랫폼입니다. UI 클릭을 추적하는 전통적인 분석 도구와 달리, Armature는 Model Context Protocol (MCP), Claude Connectors 또는 ChatGPT Apps를 통해 AI 에이전트(Claude, ChatGPT 또는 Cursor와 같은)와 제품의 백엔드 간의 상호작용을 캡처합니다.

Agentic 제품 관리를 위한 핵심 역량

Armature는 제품 팀이 단순한 로그를 넘어 AI 에이전트가 실제로 서비스를 어떻게 활용하고 있는지 이해할 수 있도록 합니다. 이 플랫폼은 에이전트 경험을 최적화하기 위한 몇 가지 핵심 기능을 제공합니다:

자동화된 유스케이스 식별

Armature는 모델을 사용하여 모든 세션을 분석하고 이를 유스케이스로 자동 그룹화합니다. 이를 통해 팀은 사용자가 수행하려는 가장 일반적인 작업을 식별할 수 있으며, 제품이 아직 지원하지 않는 기능인 "missing" features(사용자가 수행하려는 작업이지만 제품이 아직 지원하지 않는 유스케이스)를 식별하는 것도 포함됩니다.

에이전트 실패에 대한 근본 원인 분석

플랫폼은 세션 내의 실패, 루프, 막다른 길을 스캔합니다. API 응답이 200 OK 상태를 반환하더라도, 기술적으로 성공적인 응답이 사용자의 의도를 만족시키는 데 실패할 수 있음을 인식하여 근본 원인을 식별합니다.

세션 리플레이 및 점수 산정

모든 세션에는 사용자의 요청이 충족되었는지 여에 따라 성공 점수가 할당됩니다. 팀은 초기 사용자 의도, 에이전트의 내부 사고 과정, 세션 중 발생한 모든 API 호출을 포함하여 세션의 전체 트레이스(trace)를 리플레이할 수 있습니다.

기술적 구현 및 통합

통합은 기존 MCP 서버, Claude Connectors 또는 ChatGPT App 백엔드를 래핑(wrap)하는 SDK를 통해 이루어집니다. 이 구현 방식은 기존 서버 로직을 변경할 필요가 없으며, Claude, ChatGPT, Cursor, Codex, Gemini CLI를 포함하여 MCP 서버에 접근할 수 있는 모든 클라이언트에 호환됩니다.

데이터 프라이버시 및 PII 익명화

민감한 정보를 처리하기 위해, Armature는 데이터를 저장하기 전에 세션을 스캔하고 개인 식별 정보(PII) 및 비밀 정보를 기본적으로 익명화하는 탐지 모델을 사용합니다.

기존 도구와의 비교

Armature는 대상 고객과 사용자 초점에 따라 기존의 분석 및 LLM 관찰성(observability) 도구와 차별화됩니다:

Tool Category	Focus	Armature's Approach
Traditional Analytics (e.g., PostHog, Amplitude)	Human UI interactions (clicks, events)	AI 클라이언트(Claude, ChatGPT) 내부에서 발생하는 세션을 캡처합니다. 제품의 UI가 보이지 않는 환경입니다.
LLM Observability (e.g., LangSmith, Langfuse)	Engineering-focused traces for agents built by the developer	외부 클라이언트를 통해 제품을 사용하는 에이전트를 위한 제품 관리를 위한 것에 집중합니다.

커뮤니티 피드백 및 고려 사항

Hacker News의 커뮤니티 구성원들은 구현 방식에 관한 몇 가지 기술적 및 컴플라이언스 질문을 제기했습니다:

"How is it actually getting the model's thoughts? ... If im already logging MCP calls with OpenTelementry or BrainFuse why would i need Armature?"

사용자들은 또한 LLM의 비결정론적(non-deterministic) 특성을 언급하며, 이는 MCP 전용 제품을 구축하는 개발자들에게 에이전트 세션에 대한 가시성을 확보하는 것이 매우 중요함을 시사합니다.

또한, 채팅 데이터 및 현재 대화 텔레메트리(telemetry)와 관련하여, 특히 OpenAI와 Anthropic의 텔레메트리 및 데이터 수집 약관을 준수하는지에 대한 우려가 제기되었습니다.