ctoldigital/axuse

Accessibility-first browser & computer use for AI agents — one MCP server for every harness (Codex, Claude Code, OpenCode, Antigravity). Instruments the DOM/accessibility tree via CDP instead of screenshot loops: diffed snapshots, stable element refs, trusted input, typed errors. Zero dependencies

它解决的问题

AI 代理经常需要与网页交互,但传统方式——截图并猜测像素坐标——缓慢、脆弱且容易出错。axuse 通过使用浏览器的无障碍树和 DOM 而非图像,为代理提供结构化的、基于文本的页面视图来解决这个问题。这使得自动化更快、更可靠,并且在 token 消耗上更便宜。

工作原理

axuse 作为 MCP(模型上下文协议)服务器运行,可插入 Codex、Claude Code、OpenCode 或任何支持 MCP 的主机等代理框架。当代理请求打开页面时,axuse 返回一个紧凑的无障碍快照,其中包含每个交互元素的稳定引用。点击、输入或滚动等操作直接针对这些引用。仅页面状态的变化会被发送回来,而不是完整快照。它使用 Chrome DevTools 协议(CDP)发送可信输入事件,避免被检测。它还具有用于无头 Linux 机器的服务器模式、用于控制您自己已登录浏览器的扩展桥接,以及 Windows、macOS 和 Linux 上的桌面控制。

适用人群

构建需要浏览器或桌面自动化的 AI 代理的开发人员,尤其是使用 Codex、Claude Code、OpenCode 或 Antigravity 等代理框架的开发人员。它也面向非开发人员打包:可下载的文件可以在 Claude Desktop 中双击,安装提示可以粘贴到其他代理中自动设置。

亮点

  • 零 npm 依赖(仅需 Node.js 22+)
  • 28/28 服务器评分任务通过,中位时间 17 秒,而 Codex+扩展为 26 秒,browser-use 为 56 秒;使用 4.7M token,而分别为 9.8M 和 8.8M
  • 基于差异的观察:仅返回更改的行,节省 token 和延迟
  • 类型化错误如 REF_NOT_FOUND 和 STALE_STATE,带有重试提示,而不是静默误点击
  • 扩展桥接,驱动您日常使用的 Chrome/Edge 及已登录会话
  • 服务器模式在虚拟显示器上运行有头 Chrome,以避免反机器人检测(已通过 Turnstile 验证)
  • 可选的 CAPTCHA 求解器插件(商业),提供免费参考实现
  • 桌面控制:Windows(已验证)、macOS(选择加入)和 Linux(X11/XWayland)

相关

  • 项目
  • 项目
  • 项目
  • 项目