AmrDab/clawdcursor

解決する課題

Clawd Cursorは、AIエージェントがデスクトップコンピュータを制御するための、安全かつクロスプラットフォームな方法を提供します。すべての操作にスクリーンショットを必要とする、壊れやすくコストのかかる視覚のみのアプローチに代わり、アクセシビリティツリーとOCRを優先する階層型認識システムを採用することで、デスクトップ自動化をより高速、低コスト、かつプライバシーに配慮した形へと進化させます。

仕組み

このシステムは、Claude CodeやCursorなどのエージェントと統合されるModel Context Protocol (MCP) サーバーとして機能します。「UI State Compiler」を使用して、アクセシビリティデータとOCRを画面マップに融合させ、要素に安定したID (el_NN) を割り当てることで、エージェントがピクセル座標ではなく識別子によって操作できるようにします。

「最もコストの低い階層を優先する」認識ラダーを採用しています：

1. 構造化 (a11y): アクセシビリティツリーを使用（無料）。
2. OCR: OSレベルのテキスト認識を使用（低コスト）。
3. DOM: WebベースのコンテンツにChrome DevTools Protocolを使用（中コスト）。
4. Vision: 最終手段としてスクリーンショットを使用（高コスト）。

すべての操作は、人間の確認またはブロックのために単一のセーフティゲート (safety.evaluate()) を介してルーティングされ、システムはイベント発生後にライブ画面を確認して逸脱がないか検証します。

対象ユーザー

Windows、macOS、Linuxにおいて、ネイティブのデスクトップアプリケーション、レガシーソフトウェア、または公開APIのないあらゆるGUIと対話する必要があるAIエージェントを構築している開発者。

ハイライト

• 階層型認識: 絶対に必要な場合を除いて視覚モデルを回避することで、トークンコストを削減。
• アクション検証: 操作が成功したと仮定するのではなく、UI操作が実際に意図した結果をもたらしたかどうかを検出。
• クロスプラットフォーム: Windows、macOS、Linuxをネイティブサポート。
• 安全性第一: 中央集権的なセーフティチョークポイントと、キルスイッチを備えた可視化された「デスクトップ制御中」バナー。
• MCPネイティブ: あらゆるMCP対応ホスト（Claude Code、Cursor、Windsurfなど）と簡単に統合可能。