Armature: Product Analytics for Agentic Sessions

Armature 是一個專為代理式工作階段（agentic sessions）設計的產品分析平台。與追蹤 UI 點擊的傳統分析工具不同，Armature 透過 Model Context Protocol (MCP)、Claude Connectors 或 ChatGPT Apps 捕捉 AI 代理（例如 Claude、ChatGPT 或 Cursor 中的代理）與產品後端之間的互動。

Key Capabilities for Agentic Product Management

Armature 讓產品團隊能夠超越原始日誌，了解 AI 代理實際上是如何利用其服務的。該平台提供幾項核心功能來優化代理體驗：

Automated Use-Case Identification

Armature 使用模型來分析每個工作階段並自動將其分組為使用案例。這讓團隊能夠識別使用者正在嘗試執行的最常見任務，包括識別「缺失」的功能——即使用者嘗試執行但產品尚未支援的使用案例。

Root Cause Analysis for Agent Failures

該平台會掃描工作階段以尋找失敗、迴圈和死胡同。即使在 API 回應返回 200 OK 狀態時，它也能識別根本原因，因為它能識別出技術上的成功回應仍可能導致無法滿足使用者的意圖。

Session Replay and Scoring

每個工作階段都會根據使用者的請求是否得到履行而分配一個成功分數。團隊可以重播整個工作階段的追蹤，包括最初的使用者意圖、代理的內部思考過程，以及在工作階段期間進行的所有 API 呼叫。

Technical Implementation and Integration

整合是透過一個封裝現有 MCP servers、Claude Connectors 或 ChatGPT App 後端的 SDK 來實現的。此實作不需要對現有的伺服器邏輯進行任何更改，並且與任何可以連接到 MCP server 的客戶端相容，包括 Claude、ChatGPT、Cursor、Codex 和 Gemini CLI。

Data Privacy and PII Redaction

為了處理敏感資訊，Armature 採用偵測模型來掃描工作階段，並在資料儲存之前預設進行個人識別資訊 (PII) 和金鑰的遮蔽。

Comparison with Existing Tooling

Armature 與傳統分析和 LLM 觀測性工具在目標受眾和使用者焦點方面有所區別：

Tool Category	Focus	Armature's Approach
Traditional Analytics (e.g., PostHog, Amplitude)	Human UI interactions (clicks, events)	Captures sessions happening inside AI clients (Claude, ChatGPT) where the product's UI is invisible.
LLM Observability (e.g., LangSmith, Langfuse)	Engineering-focused traces for agents built by the developer	Focuses on product management for agents that use the product via external clients.

Community Feedback and Considerations

Hacker News 上的社群成員針對實作方式提出了幾個技術和合規性問題：

"How is it actually getting the model's thoughts? ... If im already logging MCP calls with OpenTelementry or BrainFuse why would i need Armature?"

使用者也指出了 LLM 的非決定性特質，這使得對於開發 MCP-only 產品的開發者來說，能對代理式工作階段進行可視化至關重要。

此外，也提出了關於該工具是否符合 OpenAI 和 Anthropic 的遙測和資料收集條款的疑慮，特別是關於聊天數據和當前對話的遙測資訊。