Armature: MCP Agent 会话的产品分析与评估

Armature 是一个专门为在 Claude、ChatGPT 和 Cursor 等 AI 客户端中发生的 Agent 会话而设计的产品分析平台。与传统的 UI 分析不同，Armature 能够捕获在 AI 客户端界面内部发生的交互，从而提供用户如何通过 Model Context Protocol (MCP) 服务器、Claude Connectors 和 ChatGPT Apps 与产品进行交互的可见性。

自动化用例发现与排序

Armature 使用模型来分析每个会话以识别用户的核心意图。这使得产品团队能够将会话分组到特定的用例中，并根据数量和成功率对其进行排序。至关重要的是，该平台可以识别“不受支持”的用例——即用户尝试进行但产品尚未支持的请求——从而根据实际用户需求为功能开发提供直接的路线图。

问题识别与根本原因分析

Armature 会扫描会话以查找失败、循环和死胡同，并按根本原因对其进行分组。即使在 API 响应返回 200 OK 状态时，该平台也能识别失败，这意味着它可以检测到逻辑失败，即尽管 API 调用在技术上成功，但 Agent 无法实现用户的目标。识别出的问题示例包括：

  • Agent 循环： 由于缺少身份验证范围而导致的重复调用函数的尝试。
  • 搜索未命中： 由于特定的措辞（例如，“refund”）而导致的失败。
  • 分页错误： 由分页限制导致的数据截断。
  • 速率限制： 在批量更新操作期间发生的失败。

会话重放与评估

每个会话都会根据用户的意图是否得到成功实现而进行评分。开发者可以重放会话的完整追踪过程，其中包括初始用户请求、Agent 的内部思考过程以及随后的每一次工具调用。这种可见性使团队能够精确地定位会话在何处中断。

集成与部署

Armature 通过一个 SDK 进行集成，该 SDK 封装了现有的 MCP 服务器、Claude Connector 或 ChatGPT App 后端。据该公司称，通过生成 API key 并使用编程 Agent 将 SDK 接入部署，只需几分钟即可完成 SDK 的实现。

支持的客户端

Armature 支持任何能够访问 MCP 服务器的客户端，包括：

  • Claude
  • ChatGPT
  • Cursor
  • Codex
  • Gemini CLI

数据隐私与安全

为了处理敏感信息，Armature 采用了检测模型，在数据到达存储之前，默认扫描会话并脱敏个人身份信息 (PII) 和密钥。用户可以控制数据保留策略并随时删除数据。

与现有工具的比较

Armature 根据目标用户和捕获的数据类型，将其自身与其他的可观测性及分析工具区分开来：

工具类别 重点 Armature 的不同之处
UI 分析 (例如，PostHog, Amplitude) 专有 UI 中的人类点击行为。 捕获在第三方 AI 客户端中发生的会话，而产品所有者无法控制这些客户端的 UI。
Agent 可观测性 (例如，LangSmith, Langfuse) 侧重于工程层面对开发者构建的 Agent 进行观察。 侧重于产品层面对用户使用的 Agent 如何体验产品进行分析。

社区反馈与问题

一位社区成员提出了关于技术实现以及在现有日志框架基础上使用 Armature 必要性的问题：

"How is it actually getting the model's thoughts? ... If im already logging MCP calls with OpenTelementry or BrainFuse why would i need Armature?"

这些问题突显了原始技术日志（通过 OpenTelemetry）与 Armature 提供的更高级别产品分析（意图发现和成功评分）之间的矛盾。

Sources