AmrDab/clawdcursor

解決的問題

Clawd Cursor 為 AI 智能體提供了一種安全、跨平台的桌面電腦控制方式。它取代了脆弱且昂貴的純視覺方法（每次操作都依賴螢幕截圖），轉而採用一種優先考慮可存取性樹和 OCR 的層級感知系統，使桌面自動化變得更快、更便宜、更具隱私性。

工作原理

該系統作為一個 Model Context Protocol (MCP) 伺服器運行，可與 Claude Code 或 Cursor 等智能體整合。它使用「UI 狀態編譯器」將可存取性數據和 OCR 融合到螢幕映射中，為元素分配穩定的 ID (el_NN)，以便智能體可以透過身分而非像素座標進行互動。

它採用「成本最低層優先」的感知階梯：

1. 結構化 (a11y)： 使用可存取性樹（免費）。
2. OCR： 使用作業系統級文本識別（低成本）。
3. DOM： 針對 Web 內容使用 Chrome DevTools Protocol（中等成本）。
4. Vision： 最後手段才使用螢幕截圖（高成本）。

每個操作都會透過單一的安全閘門 (safety.evaluate()) 進行路由，以便進行人工確認或攔截，並且系統會透過在事件發生後檢查即時螢幕是否存在偏差來驗證操作。

適用對象

需要與 Windows、macOS 和 Linux 上的原生桌面應用程式、遺留軟體或任何沒有公開 API 的 GUI 進行互動的 AI 智能體開發者。

亮點

• 層級感知： 透過避免在絕對必要時使用視覺模型來降低 Token 成本。
• 操作驗證： 檢測 UI 操作是否真正產生了預期結果，而不是假設其成功。
• 跨平台： 原生支援 Windows、macOS 和 Linux。
• 安全第一： 集中式的安全關卡，以及帶有終止開關的視覺化「桌面控制進行中」橫幅。
• 原生支援 MCP： 與任何支援 MCP 的宿主（Claude Code、Cursor、Windsurf 等）輕鬆整合。