lahfir/agent-desktop

解决的问题

agent-desktop 为 AI 代理提供了一种与桌面应用交互的可靠方式。与依赖视觉像素猜测的传统方法不同，它使用操作系统的无障碍树状结构来查看任何应用的真实 UI 结构，确保元素引用保持稳定，且操作可以安全重试。

工作原理

此工具以 Rust 构建，通过观察桌面的无障碍 API 来生成 UI 快照。它使用“渐进式骨架遍历”方法，通过提供密集应用的浅层概览，并允许代理深入特定感兴趣的区域，来减少 token 使用量。它提供原生 CLI 和 C-ABI 库，可集成到各种语言（Python、Node、Go 等）。对于基于 Chromium 的应用，它可以通过 Chrome DevTools Protocol（CDP）端点启动，以便通过 Playwright 或 Puppeteer 等框架进行更深入的网页内容驱动。

适用对象

正在构建需要操作电脑桌面的 AI 代理的开发者，特别是那些需要稳定、结构化 UI 交互而非纯视觉自动化的人。

亮点

• 基于无障碍的交互：使用操作系统的无障碍树状结构而非像素，以获得稳定的元素引用。
• Token 效率：通过渐进式骨架遍历，在密集应用中减少 78–96% 的 token 使用量。
• 多语言支持：提供原生 Rust CLI 和 C-ABI 绑定，支持 Python、Swift、Go、Ruby、Node 和 C。
• Chromium 互操作：支持 CDP 以驱动 Chromium 应用中的网页内容，同时保留原生菜单和窗口在无障碍路径上。
• 代理光标覆盖：在 macOS 上提供可视化、可自定义的光标，实时显示代理的操作。
• 会话管理：支持共享会话和追踪，允许多代理工作流共享命名空间，并将会话时间线导出为 HTML。