agent-sh/computer-use-linux

解决的问题

computer-use-linux 为 AI 代理（通过模型上下文协议 - MCP）提供了一种控制真实 Linux 桌面的方法。大多数现有计算机使用工具仅支持 macOS 或依赖简单的屏幕抓取，而本项目可在多种桌面环境（GNOME、KDE、Hyprland、i3 和 COSMIC）中以高可靠性运行，特别支持 Wayland 和 X11。

工作原理

它是一个用 Rust 编写的 MCP 服务器和 CLI 工具。通过与 Linux 可访问性树（AT-SPI）交互，以语义方式识别 UI 元素，而非仅依赖像素坐标。在输入方面，它使用多种后端，包括 RemoteDesktop 门户、ydotool、wtype 和 xdotool，以模拟点击、按键和滚动操作。它还与各种窗口管理器集成，用于列出、聚焦和调整窗口，并提供结构化的 JSON "doctor" 报告，以验证系统就绪状态。

适用人群

需要与本地 Linux 桌面应用程序交互的 AI 代理开发者，以及使用 Claude Desktop、Claude Code、Hermes Agent 和 Codex Desktop 等 MCP 兼容主机的用户。

主要亮点

• Wayland 支持：实现多种回退机制，确保在 Wayland 合成器上指针和键盘输入正常工作。
• 语义选择：使用 AT-SPI，使代理能够通过角色、名称或文本而非仅坐标来点击或与元素交互。
• 跨桌面兼容性：支持包括 GNOME、KDE Plasma、Hyprland、i3 和 COSMIC 在内的广泛环境。
• 全面诊断：包含 doctor 命令，提供系统功能的机器可读就绪报告。
• 安全注解：提供 MCP ToolAnnotations，帮助主机区分只读观察与破坏性 UI 变更。