lahfir/agent-desktop

Native desktop automation CLI for AI agents. Control any application through OS accessibility trees with structured JSON output and deterministic element refs.

它解決了什麼問題

AI 代理常常難以與桌面應用程式互動，因為它們依賴低效的方法，如螢幕截圖或像素匹配。此工具提供了一種結構化、機器可讀的方式，讓代理能夠透過作業系統的無障礙樹來觀察和控制任何應用程式。

它是如何運作的

該工具使用基於 Rust 的 CLI 來遍歷作業系統的無障礙樹，將 UI 元素轉換為緊湊的機器可讀 JSON 快照。它使用一種獨特的參考系統（例如，@s8f3k2p9:e1）來讓代理能夠定位特定的按鈕、文字欄位或選單，而無需重新處理整個螢幕。它支援「漸進式骨架遍歷」技術，其中代理先取得應用程式的淺層概覽以節省 token，然後再深入特定區域。

適合對象

  • AI 代理開發者：構建需要在原生桌面應用程式（如 Slack、Finder 或 Xcode）中執行任務的自主代理。
  • 軟體工程師：透過所提供的 C-ABI (FFI) 將桌面自動化整合到現有工作流程中，適用於 Python、Node 或 Go 等語言。
  • 自動化工程師：建立可靠且預設為無頭的桌面自動化腳本。

特色亮點

  • Token 效率：透過漸進式骨架遍歷降低 LLM token 使用量 78–96%。
  • 原生效能：以 Rust 構建為快速單一二進位檔，並提供 C-ABI 繫結以進行進程內呼叫。
  • 無頭互動：支援不需要搶焦點或移動實體游標的語義操作。
  • 會話追蹤：內建追蹤檢視器，可記錄並重播代理互動會話。

SUMMARY: 一個高效能的 Rust CLI，使 AI 代理能夠使用作業系統的無障礙樹來觀察和互動桌面應用程式，而不依賴螢幕截圖。

TITLE: