Armature: Agentic Sessions 的产品分析工具

Armature 是一个专门为 Agentic Sessions 设计的产品分析平台。与追踪 UI 点击的传统分析工具不同，Armature 通过 Model Context Protocol (MCP)、Claude Connectors 或 ChatGPT Apps 捕获 AI Agent（例如 Claude、ChatGPT 或 Cursor 中的 Agent）与产品后端之间的交互。

Agentic 产品管理的核心能力

Armature 让产品团队能够超越原始日志，深入了解 AI Agent 实际上是如何利用其服务的。该平台提供几个核心功能来优化 Agent 体验：

自动化用例识别

Armature 使用模型来分析每个 Session，并自动将其分组为不同的用例。这使得团队能够识别用户尝试执行的最常见任务，包括识别“缺失”的功能——即用户尝试执行但产品尚未支持的用例。

Agent 失败的根因分析

该平台会扫描 Session 以查找失败、循环和死胡同。即使在 API 响应返回 200 OK 状态时，它也能识别根因，因为它意识到技术上的成功响应仍可能导致无法满足用户的意图。

Session 回放与评分

每个 Session 都会根据用户请求是否得到满足而分配一个成功分数。团队可以回放 Session 的完整追踪过程，包括初始用户意图、Agent 的内部思考过程以及 Session 期间进行的每一次 API 调用。

技术实现与集成

集成是通过一个封装了现有 MCP servers、Claude Connectors 或 ChatGPT App 后端的 SDK 实现的。这种实现方式不需要对现有服务器逻辑进行任何更改，并且与任何可以访问 MCP server 的客户端兼容，包括 Claude、ChatGPT、Cursor、Codex 和 Gemini CLI。

数据隐私与 PII 脱敏

为了处理敏感信息，Armature 采用检测模型来扫描 Session，并在数据存储之前默认对个人身份信息 (PII) 和密钥进行脱敏处理。

与现有工具的对比

Armature 通过其目标受众和用户关注点，将其与传统分析工具和 LLM 观测性工具区分开来：

Tool Category	Focus	Armature's Approach
Traditional Analytics (e.g., PostHog, Amplitude)	Human UI interactions (clicks, events)	Captures sessions happening inside AI clients (Claude, ChatGPT) where the product's UI is invisible.
LLM Observability (e.g., LangSmith, Langfuse)	Engineering-focused traces for agents built by the developer	Focuses on product management for agents that use the product via external clients.

社区反馈与考量

Hacker News 上的社区成员就实现方式提出了几个技术和合规性问题：

"How is it actually getting the model's thoughts? ... If im already logging MCP calls with OpenTelementry or BrainFuse why would i need Armature?"

用户还指出了 LLM 的非确定性特征，这使得对于构建仅基于 MCP 产品的开发者来说，Agentic Sessions 的可见性变得至关重要。

此外，也有人对该工具是否符合 OpenAI 和 Anthropic 的遥测和数据收集条款提出了疑虑，特别是涉及聊天数据和当前对话的遥测信息。