vercel-labs/agent-desktop

Computer use CLI for AI agents

解决的问题

它使AI代理能够通过读取和操作操作系统的辅助功能树来与桌面应用程序交互，而不是依赖不可靠的基于像素的屏幕匹配。

工作原理

该工具提供了一个CLI和C库，用于生成当前桌面状态的JSON快照。快照中的每个交互元素都被分配了一个唯一的引用ID。代理随后可以通过定位这些特定的ID来执行操作，例如点击、输入或滚动。该系统专为循环设计：观察UI，对引用执行操作，然后再次观察以验证结果。

适用对象

它专为需要在使用macOS、Windows或Linux的桌面应用程序中执行任务的AI代理开发人员而构建。

亮点

  • 通过原生操作系统辅助功能树进行操作，实现精确控制。
  • 默认无头运行，允许在不移动鼠标或抢占窗口焦点的情况下执行操作。
  • 提供结构化的JSON接口，便于集成到代理循环中。
  • 包含超过50个用于管理应用程序、窗口和输入的操作命令。
  • 支持CLI使用以及通过C库(FFI)直接集成。

相关

  • 项目
    livekit/agents

    LiveKit Agents 是一个 Python SDK，用于构建运行在 LiveKit 服务器上的实时、多模态语音代理（由 LLM 驱动的助手）。它提供了用于 STT/LLM/TTS 的统一适配器、作业调度、WebRTC/电话集成、轮次检测、MCP 工具支持以及内置的测试框架。

  • 项目
    akitaonrails/ai-memory

    ai-memory 是一个面向 AI 编码代理的长期记忆系统，将记忆存储为基于 git 的 Markdown，可在代理、项目、机器和团队之间工作，默认零 LLM，并提供可选的 LLM 功能。

  • 项目
    microsoft/RD-Agent

    RD‑Agent 是一个开源的 Microsoft 框架，让基于 LLM 的代理能够自动提出想法（R‑agent）并进行实现（D‑agent），涵盖量化金融因子建模、Kaggle 风格的数据科学流水线以及研究论文代码生成等数据驱动的研发任务。它在 MLE‑bench 基准测试中名列前茅，支持任何与 LiteLLM 兼容的模型，并提供基于 Docker 的演示以及用于交互式追踪的 Web UI。

  • 项目
    n8n-io/self-hosted-ai-starter-kit

    一个集成了 n8n、Ollama 和 Qdrant 的 Docker Compose 模板，可快速搭建用于构建 AI Agent 和工作流的自托管本地 AI 开发环境。