Armature: MCPエージェントセッションのためのプロダクト分析と評価

Armatureは、Claude、ChatGPT、CursorなどのAIクライアント内で発生するエージェントセッションに特化して設計されたプロダクト分析プラットフォームです。従来のUI分析とは異なり、ArmatureはAIクライアントのインターフェース内で発生するインタラクションをキャプチャし、ユーザーがModel Context Protocol (MCP) サーバー、Claude Connectors、およびChatGPT Appsを介してどのように製品とやり取りするかについての可視性を提供します。

自動ユースケース発見とランキング

Armatureはモデルを使用してすべてのセッションを分析し、ユーザーの主要な意図を特定します。これにより、プロダクトチームはセッションを特定のユースケースにグループ化し、ボリュームと成功率に基づいてランキングを作成できます。極めて重要なのは、プラットフォームが「サポートされていない」ユースケース（ユーザーが実行しようとしているが、製品がまだサポートしていないリクエスト）を特定することであり、実際のユーザー需要に基づいた機能開発の直接的なロードマップを提供します。

問題の特定と根本原因分析

Armatureは、セッション内の失敗、ループ、行き詰まりをスキャンして、根本原因ごとにグループ化します。プラットフォームは、APIレスポンスが200 OKステータスを返している場合でも失敗を特定できるため、API呼び出しが技術的に成功しているにもかかわらず、エージェントがユーザーの目標を達成できない論理的な失敗を検出できます。特定された問題の例は以下の通りです：

  • Agent Loops: 認証スコープの不足による関数の呼び出しの繰り返し試行。
  • Search Misses: 特定の言い回し（例：「refund」）による失敗。
  • Pagination Errors: ページネーションの制限によるデータの切り捨て。
  • Rate Limiting: 一括更新操作中の失敗。

セッションリプレイと評価

すべてのセッションは、ユーザーの意図が正常に満たされたかどうかに基づいてスコア付けされます。開発者は、最初のユーザーリクエスト、エージェントの内部思考プロセス、およびその後のすべてのツール呼び出しを含む、セッションの完全なトレースをリプレイできます。この可視性により、チームはセッションがどこで崩壊したかを正確に特定できます。

統合とデプロイメント

Armatureは、既存のMCPサーバー、Claude Connector、またはChatGPT AppのバックエンドをラップするSDKを通じて統合されます。同社によると、SDKはAPIキーを生成し、コーディングエージェントを使用してSDKをデプロイメントに組み込むことで、数分で実装可能です。

サポートされているクライアント

Armatureは、MCPサーバーにアクセス可能なあらゆるクライアントをサポートしています。例として以下が含まれます：

  • Claude
  • ChatGPT
  • uma Cursor
  • Codex
  • Gemini CLI

データプライバシーとセキュリティ

機密情報を扱うため、Armatureは、データがストレージに到達する前に、セッションをスキャンして個人を特定できる情報 (PII) やシークレットをデフォルトで匿名化する検出モデルを採用しています。ユーザーはデータ保持ポリシーを制御し、いつでもデータを削除できます。

既存ツールとの比較

Armatureは、ターゲットユーザーとキャプチャされるデータの種類に基づいて、他のオブザーバビリティおよび分析ツールと差別化されています：

Tool Category Focus Armature's Difference
UI Analytics (e.g., PostHog, Amplitude) 独自のUIにおける人間のクリック。
Agent Observability (e.g., LangSmith, Langfuse) 開発者によって構築されたエージェントのエンジニアリング中心の観察。
Armature プロダクト中心の分析、ユーザーのエージェントがどのように製品とやり取りするか。

注：表の比較項目は原文の構造を維持しています。

コミュニティのフィードバックと質問

あるコミュニティメンバーが、技術的な実装と、既存のロギングフレームワークに対するArmatureの必要性について質問を提起しました：

"How is it actually getting the model's thoughts? ... If im already logging MCP calls with OpenTelementry or BrainFuse why would i need Armature?"

これらの質問は、生の技術的なロギング（OpenTelemetry経由）と、Armatureが提供する高レベルのプロダクト分析（意図の発見と成功スコア）との間の緊張関係を浮き彫りにしています。

Sources