Ax-check:衡量软件产品的智能体体验(AX)

Ax-check 是一款旨在衡量软件产品“智能体体验”(AX)的工具。它通过部署三个独立的智能体来尝试端到端的入门流程,评估 AI 智能体能否成功完成产品的入门过程。该工具为文档、营销网站、命令行界面(CLI)、模型上下文协议(MCP)实现以及技能(Skills)提供了具体的改进指导。

Ax-check 如何评估产品的可访问性

Ax-check 通过模拟真实的入门尝试来评估产品对 AI 智能体的可访问性。系统根据智能体查找信息和完成设置任务的能力,给出一个等级(A 到 F)和一个满分 100 分的数值评分。

主要评估领域包括:

  • 文档和营销网站:该工具检查主页和文档是否对智能体可读。例如,缺乏 Markdown 或清晰设置说明的网站会在评分中受到扣分。
  • CLI 和 MCP 集成:该工具评估产品通过 CLI 或 MCP 安装的便捷程度。允许在不要求账户的情况下进行安装的产品,被认为具有更好的智能体体验。
  • 定价清晰度:该工具分析定价信息是否易于被智能体发现和验证。

AX 评分与结果分析

Ax-check 最近执行的检查凸显了 AI 智能体面临的常见摩擦点:

  • 表现优异者(A 级):像 Kernel、Loops、Increase 和 Snyk 这样的公司获得了 100/100 的满分,表明它们的入门流程针对智能体系统进行了高度优化。
  • 表现中等者(B 级):许多产品的得分在 79-82 分之间。常见的阻碍因素包括主页缺乏 Markdown,或者尽管拥有良好的文档指南,但定价和设置步骤仍未得到验证。
  • 表现较差者(F 级):那些没有提供智能体可读文档且仅提供一个简陋主页的网站,通常得分为 0/100。

社区见解与技术考量

在 Hacker News 上讨论该工具的用户和开发者提出了关于优化 AX 的几个技术和战略考量:

  • 特定智能体的阻碍因素:一些用户报告称,标准的 Python urllib User-Agent 可能会被某些安全配置阻止(例如 403 错误),这可能会无意中降低产品的 AX 评分。
  • 安全性与可访问性:在启用完全智能体入门和维护安全性之间存在固有的紧张关系。一位用户指出,为了促进智能体入门而移除人类身份验证要求,可能会使绕过速率限制变得更加容易。
  • 验证挑战:一些用户观察到 Ax-check 的结果与使用 Claude 等大语言模型(LLM)进行手动测试的结果之间存在差异,这表明该工具使用的特定智能体可能会遇到与通用 LLM 接口不同的阻碍因素。

“集成实时机器人来展示实时访客体验是一个不错的亮点。我遇到了一个意外的阻碍因素(默认的 Python urllib User-Agent 在 anc.dev 上被返回 403 错误)”

“您如何看待在没有适当人类身份验证的情况下启用完全智能体入门?感觉任何速率限制都会很容易被绕过。”

与其他 AX 工具的对比

虽然 Ax-check 专注于端到端的入门体验,但像 anc.dev 这样的其他工具则侧重于更广泛的合规性测试以及对二进制文件的审计,以确保 CLI 工具对智能体系统是可发现且有用的。

Sources

相关

  • 项目
  • Dispatch
  • 项目
  • 项目
  • 项目