Ax-check: ソフトウェア製品のエージェント体験（AX）を測定する

Ax-checkは、ソフトウェア製品の「エージェント体験」（AX）を測定するためのツールです。AIエージェントが製品のオンボーディングプロセスを成功裏にナビゲートできるかどうかを評価するために、3つの別々のエージェントを配置し、エンドツーエンドのオンボーディングを試行します。このツールは、ドキュメント、マーケティングサイト、コマンドラインインターフェース（CLI）、モデルコンテキストプロトコル（MCP）の実装、スキルに関する改善の必要性について具体的なガイダンスを提供します。

Ax-checkが製品のアクセシビリティを評価する方法

Ax-checkは、現実世界のオンボーディング試行をシミュレートすることで、製品がAIエージェントにとってどれだけアクセシブルかを評価します。エージェントが情報を検出できる能力と設定タスクを完了できる能力に基づき、AからFまでのグレードと100点満点の数値スコアが付与されます。

主な評価項目は以下の通りです：

• ドキュメントとマーケティングサイト：ホームページとドキュメントがエージェントにとって読み取り可能かどうかをチェックします。たとえば、Markdownが欠けている、または明確なセットアップ手順がないサイトは、スコアでペナルティを受けます。
• CLIおよびMCP統合：製品がCLIまたはMCP経由でどれだけスムーズにインストールできるかを評価します。アカウントの作成を必要とせずにインストールできる製品は、エージェント体験が優れているとされています。
• 価格情報の明確さ：価格情報がエージェントによって容易に発見可能で検証可能かどうかを分析します。

AXスコアと結果の分析

Ax-checkによる最近のチェック結果から、AIエージェントが直面する一般的な障壁が明らかになっています：

• 高パフォーマンス（グレードA）：Kernel、Loops、Increase、Snykなどの企業は、100/100の満点を達成しており、オンボーディングフローがエージェントシステムに非常に最適化されていることを示しています。
• 中程度のパフォーマンス（グレードB）：多くの製品が79～82の範囲のスコアを獲得しています。一般的なブロッカーには、ホームページにMarkdownが存在しないこと、または優れたドキュメントガイドがあるにもかかわらず、価格やセットアップ手順が検証されていないことが挙げられます。
• 低パフォーマンス（グレードF）：エージェント読み取り可能なドキュメントが一切提供されておらず、単にシンプルなホームページしか提供しないサイトは、通常0/100のスコアを獲得します。

コミュニティの知見と技術的考慮事項

Hacker Newsでこのツールについて議論しているユーザーと開発者は、AXの最適化に関するいくつかの技術的・戦略的考慮事項を提起しています：

• エージェント固有のブロッカー：一部のユーザーは、標準のPython urllib User-Agentが特定のセキュリティ設定（例：403エラー）によってブロックされることがあると報告しており、これは製品のAXスコアを意図せず低下させる可能性があります。
• セキュリティとアクセシビリティのジレンマ：完全にエージェント対応のオンボーディングを可能にするのと、セキュリティを維持するのには本質的なトレードオフがあります。あるユーザーは、エージェントオンボーディングを容易にするために人間の識別要件を削除すると、レート制限を回避しやすくなると指摘しています。
• 検証の課題：一部のユーザーは、Ax-checkの結果とClaudeなどのLLMを使った手動テストとの間に差異があることに気づき、このツールが使用する特定のエージェントが、汎用的なLLMインターフェースとは異なるブロッカーに直面する可能性があると観察しています。

"ライブのボットを統合してライブの訪問体験を示すのは良いアイデアです。予期せぬブロッカーに遭遇しました（デフォルトのPython urllib User-Agentはanc.devで403エラーになります）"

"人間の識別が適切でない状態で完全にエージェント対応のオンボーディングを可能にする場合、どのように考えていますか？レート制限はかなり簡単に回避できてしまうように感じます。"

他のAXツールとの比較

Ax-checkはエンドツーエンドのオンボーディング体験に焦点を当てていますが、anc.devなどの他のツールは、より幅広いコンプライアンステストやバイナリの監査に焦点を当てており、CLIツールがエージェントシステムにとって発見可能で有用であることを保証しています。