AmrDab/clawdcursor

Clawd Cursor是什么？\n\nClawd Cursor 是一个本地 MCP（模型控制协议）服务器，允许任何基于 AI 的“代理”安全地控制真实桌面。它通过合并操作系统辅助功能树与廉价 OCR，将屏幕转换为结构化的 UI 映射，并为每个元素分配稳定的 el_NN 标识符。代理随后通过引用这些 ID 而不是原始像素坐标来执行操作（点击、输入、打开应用等）。\n\nREADME 中的关键点：\n\n| 功能 | 重要性 |\n|---|---|\n| 跨平台（Windows、macOS、Linux） | 适用于用户运行的任何桌面。 |\n| 无视觉主要感知 | 首先使用免费的辅助功能树；OCR 是廉价的回退；仅在绝对必要时使用全屏截图，保持令牌成本低并保持数据本地化。 |\n| 自我验证 | 操作后，服务器重新读取 UI，如果结果与期望（expect 标志）不匹配，则报告 DEVIATION。 |\n| 单一安全门 | 每个请求都通过 safety.evaluate()，可以允许、要求用户确认或阻止操作。 |\n| MCP 兼容 | 公开标准 stdin/stdout MCP 接口，因此任何支持 MCP 的工具（Claude Code、Cursor、VS Code、Zed、OpenAI Codex 等）都可以通过一行配置接入。 |\n| 工具箱 | 7 个复合工具组（计算机、辅助功能、窗口、系统、浏览器、任务等）基于约 98 个基本原语，全部通过安全门。 |\n\n引擎编译 UI 映射（compile_ui），让代理通过名称查找元素（find_button、find_field），执行操作，然后验证结果。如果验证失败，循环可以重试或报告偏差。\n\n---\n## 谁可能使用它？\n\n- 构建需要与原生桌面应用（如电子邮件客户端、办公套件、IDE 等）交互的 AI 代理的开发者，他们不想编写自定义 UI 自动化代码。\n- 使用 Claude Desktop、Cursor 或其他支持 MCP 的编辑器的团队，他们想要一个即插即用的“桌面控制”扩展。\n- 研究安全、本地运行的 AI 代理的研究人员，他们想要一种确定性、可验证的方法让模型操纵操作系统。\n\n---\n## 快速开始（来自 README）\n\n1. 安装 – npm i -g clawdcursor（或使用一行命令 npx -y clawdcursor）。\n2. 授予同意 – clawdcursor consent --accept（在 macOS 上使用 clawdcursor grant 授予辅助功能和屏幕录制权限）。\n3. 添加到 MCP 主机 – 例如，在 VS Code 的 .vscode/mcp.json 中：\n json\n {\n "servers": {"clawdcursor": {"command": "clawdcursor", "args": ["mcp", "--compact"]}}\n }\n \n Claude Code、Cursor、Zed、OpenAI Codex 等也提供了类似的 JSON 片段。\n4. 询问代理 – “打开 Outlook 并回复 Sarah 的最新电子邮件。” 代理将：\n - 编译 UI 映射，\n - 通过其稳定 ID 找到“回复”按钮，\n - 点击它，输入回复，并且\n - 验证邮件已发送。\n\n---\n## 底层工作原理\n\n1. 感知分层 – 服务器首先读取操作系统辅助功能树（免费）。如果未找到所需元素，则运行 OCR（仍然便宜）。仅当任务确实需要像素级数据时，才拍摄截图并可选地提供给视觉模型。\n2. 稳定的元素 ID – 每个 UI 元素都获得一个 el_NN 标识符，该标识符可承受 DPI 变化、窗口移动和布局变化，因此代理可以在多个步骤中引用同一元素。\n3. 安全检查点 – 所有调用都通过 safety.evaluate()。该门可以自动允许、要求人工确认或阻止操作。\n4. 验证 – 操作后，服务器重新观察 UI（使用相同的分层感知），如果状态与预期结果不匹配，则返回 DEVIATION。\n5. 工具箱 – 7 个高级工具组公开了约 150 个动词（点击、输入、读取树、打开应用等）。还提供了约 98 个原语的“细粒度”表面，用于调试或自定义主机。\n\n---\n## 限制与注意事项\n\n- 操作系统先决条件 – macOS 需要 Xcode 命令行工具；Linux 需要 tesseract-ocr、python3-gi、gir1.2-atspi-2.0，在 Wayland 上需要 ydotool 进行合成输入。\n- 视觉回退 – 纯画布应用（例如游戏、画图）仍依赖基于截图的点击，这更慢且消耗更多令牌。\n- 安全 UI – 屏幕上会显示一个小横幅，带有一个闪烁的红点，表示桌面正在被驱动；双击它可终止会话。\n- 仅本地 – 没有云组件；所有处理都在用户机器上完成，这对隐私有利，但意味着主机必须有足够的计算能力来处理 OCR 和任何可选的视觉模型。\n\n---\n## 结论\n\nClawd Cursor 在 LLM 驱动的代理与真实桌面之间提供了保护隐私、可验证、跨平台的桥梁。通过优先使用辅助功能数据而不是原始截图，并强制执行单一安全门，它旨在让“让 AI 使用我的电脑”既便宜又安全。