AmrDab/clawdcursor

解决的问题

Clawd Cursor 为 AI 智能体提供了一种安全、跨平台的桌面计算机控制方式。它取代了脆弱且昂贵的纯视觉方法（每次操作都依赖屏幕截图），转而采用一种优先考虑可访问性树和 OCR 的层级感知系统，使桌面自动化变得更快、更便宜、更具隐私性。

工作原理

该系统作为一个 Model Context Protocol (MCP) 服务器运行，可与 Claude Code 或 Cursor 等智能体集成。它使用“UI 状态编译器”将可访问性数据和 OCR 融合到屏幕映射中，为元素分配稳定的 ID (el_NN)，以便智能体可以通过身份而非像素坐标进行交互。

它采用“成本最低层优先”的感知阶梯：

1. 结构化 (a11y)： 使用可访问性树（免费）。
2. OCR： 使用操作系统级文本识别（低成本）。
3. DOM： 针对 Web 内容使用 Chrome DevTools Protocol（中等成本）。
4. Vision： 最后手段才使用屏幕截图（高成本）。

每个操作都会通过单一的安全闸门 (safety.evaluate()) 进行路由，以便进行人工确认或拦截，并且系统会通过在事件发生后检查实时屏幕是否存在偏差来验证操作。

适用对象

需要与 Windows、macOS 和 Linux 上的原生桌面应用程序、遗留软件或任何没有公开 API 的 GUI 进行交互的 AI 智能体开发者。

亮点

• 层级感知： 通过避免在绝对必要时使用视觉模型来降低 Token 成本。
• 操作验证： 检测 UI 操作是否真正产生了预期结果，而不是假设其成功。
• 跨平台： 原生支持 Windows、macOS 和 Linux。
• 安全第一： 集中式的安全关卡，以及带有终止开关的可见“桌面控制进行中”横幅。
• 原生支持 MCP： 与任何支持 MCP 的宿主（Claude Code、Cursor、Windsurf 等）轻松集成。