lahfir/agent-desktop

What it solves

AI エージェントは、スクリーンショットやピクセル マッチングなどの非効率的な方法に依存しているため、デスクトップ アプリケーションとの相互作用でしばしば苦労します。このツールは、オペレーティング システムのアクセシビリティ ツリーにアクセスすることにより、エージェントが任意のアプリケーションを観察および制御するための構造化され、マシン可読な方法を提供します。

How it works

このツールは、Rust ベースの CLI を使用して OS アクセシビリティ ツリーを traversal（遍歴）し、UI 要素をコンパクトでマシン可読な JSON スナップショットに変換します。一意の参照システム（例: @s8f3k2p9:e1）を使用することで、エージェントは画面全体を再処理することなく、特定のボタン、テキスト フィールド、またはメニューをターゲットにできます。また、「プログレッシブ スケルトン トラバーサル」技術をサポートしており、エージェントはまずアプリの浅い概要を取得してトークンを節約し、その後特定の領域に掘り下げます。

Who it’s for

• AI Agent 開発者: Slack、Finder、Xcode などのネイティブ デスクトップ アプリでタスクを実行する必要がある自律エージェントを構築します。
• ソフトウェア エンジニア: Python、Node、Go などの言語向けに提供される C-ABI (FFI) を介して、既存のワークフローにデスクトップ オートメーションを統合します。
• オートメーション エンジニア: デフォルトでヘッドレスの信頼性の高いデスクトップ オートメーション スクリプトを作成します。

Highlights

• トークン効率: プログレッシブ スケルトン トラバーサルにより、LLM トークン使用量を 78–96% 削減します。
• ネイティブ パフォーマンス: 高速なシングルバイナリとして Rust で構築され、インプロセス コールのための C-ABI バインディングを備えています。
• ヘッドレス インタラクション: フォーカスを奪ったり、物理カーソルを動かす必要のないセマンティック操作をサポートします。
• セッション トレース: エージェントの相互作用セッションを記録および再生する組み込みトレースビューアが含まれています。