lahfir/agent-desktop

解決する問題

agent-desktop は、AI エージェントがデスクトップアプリケーションと対話するための信頼性の高い方法を提供します。視覚的なピクセル推測に依存する従来の方法とは異なり、OS のアクセシビリティツリーを使用してあらゆるアプリケーションの実際の UI 構造を確認し、要素参照が安定し、アクションを安全に再試行できるようにします。

仕組み

Rust で構築されたこのツールは、デスクトップのアクセシビリティ API を監視して UI のスナップショットを生成します。「段階的スケルトントラバーサル」方式を使用して、密度の高いアプリの浅い概要を提供し、エージェントが特定の関心領域にドリルダウンできるようにすることで、トークン使用量を削減します。ネイティブ CLI と C-ABI ライブラリを提供し、さまざまな言語（Python、Node、Go など）に統合できます。Chromium ベースのアプリでは、Chrome DevTools Protocol（CDP）エンドポイントを指定して起動し、Playwright や Puppeteer などのフレームワークを介して Web コンテンツをより深く操作できるようにします。

対象読者

コンピュータのデスクトップを操作する必要がある AI エージェントを構築している開発者、特に純粋に視覚ベースの自動化ではなく、安定した構造化された UI 操作を必要とする開発者向けです。

ハイライト

• アクセシビリティベースの操作: ピクセルではなく OS のアクセシビリティツリーを使用して、安定した要素参照を実現します。
• トークン効率: 段階的スケルトントラバーサルにより、密度の高いアプリでトークン使用量を 78～96% 削減します。
• 多言語サポート: ネイティブ Rust CLI と C-ABI バインディングを提供し、Python、Swift、Go、Ruby、Node、C をサポートします。
• Chromium 相互運用: CDP をサポートして Chromium アプリの Web コンテンツを操作しながら、ネイティブメニューとウィンドウをアクセシビリティパスに維持します。
• エージェントカーソルオーバーレイ: macOS で視覚的でカスタマイズ可能なカーソルを提供し、エージェントがリアルタイムで何をしているかを表示します。
• セッション管理: 共有セッションとトレースをサポートし、マルチエージェントワークフローが名前空間を共有し、セッションタイムラインを HTML にエクスポートできるようにします。