Armature: Agentic Sessions（エージェント型セッション）のためのプロダクト分析

Armatureは、エージェント型セッションのために特別に設計されたプロダクト分析プラットフォームです。UIのクリックを追跡する従来の分析ツールとは異なり、Armatureは、Model Context Protocol (MCP)、Claude Connectors、またはChatGPT Appsを介して、AIエージェント（Claude、ChatGPT、またはCursorなど）と製品のバックエンドとの間の相互作用をキャプチャします。

Agentic Product Management（エージェント型プロダクト管理）のための主要な機能

Armatureを使用することで、プロダクトチームは生のログを超えて、AIエージェントが実際にどのようにサービスを利用しているかを理解できるようになります。このプラットフォームは、エージェントの体験を最適化するためにいくつかのコア機能を備えています。

自動ユースケース特定

Armatureはモデルを使用してすべてのセッションを分析し、それらを自動的にユースケースにグループ化します。これにより、チームはユーザーが実行しようとしている最も一般的なタスクを特定できるほか、「不足している」機能（ユーザーが実行しようを行おうとしているが、製品がまだサポートしていないユースケース）を特定することも可能になります。

エージェントの失敗に対する根本原因分析

プラットフォームは、セッション内の失敗、ループ、行き止まりをスキャンします。APIレスポンスが200 OKステータスを返している場合でも、技術的に成功したレスポンスがユーザーの意図を満たすことの失敗につながる可能性があることを認識し、根本原因を特定します。

セッションリプレイとスコアリング

すべてのセッションには、ユーザーのリクエストが満たされたかどうかに基づいて成功スコアが割り当てられます。チームは、最初のユーザーの意図、エージェントの内部思考プロセス、およびセッション中に実行されたすべてのAPIコールを含む、セッションの完全なトレースをリプレイ再生することが可能です。

技術的な実装と統合

統合は、既存のMCPサーバー、Claude Connectors、またはChatGPT AppのバックエンドをラップするSDKを通じて行われます。この実装には、既存のサーバーロジックの変更は必要なく、Claude、ChatGPT、Cursor、Codex、およびGemini CLIを含む、MCPサーバーにアクセス可能なあらゆるクライアントと互換性があります。

データプライバシーとPIIの匿名化

機密情報を扱うために、Armatureは検出モデルを採用しており、データが保存される前に、セッションをスキャンして個人を特定できる情報（PII）およびシークレットをデフォルトで匿名化します。

既存ツールとの比較

Armatureは、ターゲットオーディエンスとユーザーフォーカスを通じて、従来の分析ツールやLLMオブザーバビリティツールと差別化されています。

ツールカテゴリ	フォーカス	Armatureのアプローチ
Traditional Analytics (e.g., PostHog, Amplitude)	人間のUIインタラクション（クリック、イベント）	製品のUIが見えないAIクライアント（Claude, ChatGPT）内で発生するセッションをキャプチャします。
LLM Observability (e.g., LangSmith, Langfuse)	開発者が構築したエージェントのためのエンジニアリング重視のトレース	外部クライアントを介して製品を利用するエージェントのプロダクト管理に焦点を当てます。

コミュニティのフィードバックと検討事項

Hacker Newsのコミュニティメンバーは、実装に関していくつかの技術的およびコンプライアンスに関する質問を提起しています。

"How is it actually getting the model's thoughts? ... If im already logging MCP calls with OpenTelementry or BrainFuse why would i need Armature?"

ユーザーはまた、LLMの非決定論的な性質についても指摘しており、これがMCPのみの製品を構築している開発者にとって、エージェント型セッションの可視化が極めて重要であることを示しています。

さらに、OpenAIおよびAnthropicのテレメトリおよびデータ収集規約、特にチャットデータと現在の会話のテレメトリに関する懸念が提起されています。