lahfir/agent-desktop

解決的問題

agent-desktop 為 AI 代理程式提供了一種與桌面應用程式互動的可靠方式。與依賴視覺像素猜測的傳統方法不同，它使用作業系統的無障礙樹狀結構來查看任何應用程式的真實 UI 結構，確保元素參考保持穩定，且動作可以安全重試。

運作方式

此工具以 Rust 建置，透過觀察桌面的無障礙 API 來產生 UI 的快照。它使用「漸進式骨架遍歷」方法，透過提供密集應用程式的淺層概覽，並允許代理程式深入特定感興趣的區域，來減少 token 使用量。它提供原生 CLI 和 C-ABI 函式庫，可整合到各種語言（Python、Node、Go 等）。對於基於 Chromium 的應用程式，它可以透過 Chrome DevTools Protocol（CDP）端點啟動，以便透過 Playwright 或 Puppeteer 等框架進行更深入的網頁內容驅動。

適用對象

正在建置需要操作電腦桌面的 AI 代理程式的開發者，特別是那些需要穩定、結構化 UI 互動而非純視覺自動化的人。

重點特色

• 基於無障礙的互動：使用作業系統的無障礙樹狀結構而非像素，以獲得穩定的元素參考。
• Token 效率：透過漸進式骨架遍歷，在密集應用程式中減少 78–96% 的 token 使用量。
• 多語言支援：提供原生 Rust CLI 和 C-ABI 綁定，支援 Python、Swift、Go、Ruby、Node 和 C。
• Chromium 互通性：支援 CDP 以驅動 Chromium 應用程式中的網頁內容，同時保留原生選單和視窗在無障礙路徑上。
• 代理程式游標覆疊：在 macOS 上提供視覺化、可自訂的游標，即時顯示代理程式的動作。
• 工作階段管理：支援共用工作階段和追蹤，允許多代理程式工作流程共用命名空間，並將工作階段時間軸匯出為 HTML。