Armature: Product Analytics and Evals for MCP Agent Sessions

Armature 是一個專門為在 Claude、ChatGPT 和 Cursor 等 AI 客戶端中發生的代理會話（agent sessions）設計的產品分析平台。與傳統的 UI 分析不同，Armature 會捕捉發生在 AI 客戶端介面內部的互動，提供對於使用者如何透過 Model Context Protocol (MCP) 伺服器、Claude Connectors 和 ChatGPT Apps 與產品互動的能見度。

Automated Use Case Discovery and Ranking

Armature 使用模型來分析每個會話以識別使用者的主要意圖。這讓產品團隊能夠將會話分組為特定的使用案例，並根據數量和成功率進行排名。至關重要的是，該平台能識別「不受支援」的使用案例——即使用者嘗試進行但產品尚未支援的請求——從而根據實際的使用者需求提供直接的功能開發路線圖。

Issue Identification and Root Cause Analysis

Armature 會掃描會話以尋找失敗、迴圈和死胡同，並根據根本原因進行分組。即使在 API 回應返回 200 OK 狀態時，該平台也能識別失敗，這意味著它可以檢測出邏輯上的失敗，即代理在技術上成功調用 API 的情況下，仍無法達成使用者的目標。識別出的問題範例包括：

  • Agent Loops: Repeated attempts to call a function due to missing authentication scopes.
  • Search Misses: Failures to occur because of specific phrasing (e.g., "refund").
  • Pagination Errors: Data truncation caused by pagination limits.
  • Rate Limiting: Failures during bulk update operations.

Session Replay and Evaluation

每個會話都會根據使用者的意圖是否成功達成而進行評分。開發者可以重播完整的會話追蹤（trace），其中包含初始的使用者請求、代理的內部思考過程，以及隨後的每一次工具調用。這種能見度讓團隊能夠精確地定位會話在哪裡失效。

Integration and Deployment

Armature 是透過一個 SDK 進行整合，該 SDK 會封裝現有的 MCP 伺服器、Claude Connector 或 ChatGPT App 後端。根據該公司的說法，透過生成 API key 並使用編碼代理（coding agent）將 SDK 接入部署，可以在幾分鐘內完成實作。

Supported Clients

Armature 支援任何能夠連接到 MCP 伺服器的客戶端，包括：

  • Claude
  • ChatGPT
  • uma Cursor
  • Codex
  • Gemini CLI

Data Privacy and Security

為了處理敏感資訊，Armature 採用了檢測模型，在數據到達儲存端之前，預設會掃描會話並遮蔽個人識別資訊 (PII) 和金鑰 (secrets)。使用者可以控制數據保留政策並隨時刪除數據。

Comparison to Existing Tooling

Armature 與其他觀測性（observability）和分析工具的區別在於其目標使用者和捕捉的數據類型：

Tool Category Focus Armature's Difference
UI Analytics (e.g., PostHog, Amplitude) Human clicks in a proprietary UI. Captures sessions happening inside third-party AI clients where the product owner has no UI control.
Agent Observability (e.g., LangSmith, Langfuse) Engineering-focused observation of agents built by the developer. Product-focused analysis of how users' agents experience the product.

Community Feedback and Questions

一位社群成員針對技術實作以及在現有日誌框架之上使用 Armature 的必要性提出了疑問：

"How is it actually getting the model's thoughts? ... If im already logging MCP calls with OpenTelementry or BrainFuse why would i need Armature?"

這些問題突顯了原始技術日誌（透過 OpenTelemetry）與 Armature 提供的高層次產品分析（意圖圖譜發現與成功評分）之間的緊張關係。

Sources