agent-sh/computer-use-linux

解決的問題

computer-use-linux 為 AI 代理（透過模型上下文協定 - MCP）提供了一種控制真實 Linux 桌面的方法。大多數現有的電腦使用工具僅支援 macOS 或依賴簡單的螢幕抓取，而本專案可在多種桌面環境（GNOME、KDE、Hyprland、i3 和 COSMIC）中以高可靠性運作，特別支援 Wayland 與 X11。

工作原理

它是一個以 Rust 編寫的 MCP 伺服器與 CLI 工具。透過與 Linux 可存取性樹（AT-SPI）互動，以語意方式識別 UI 元素，而非僅依賴像素座標。在輸入方面，它使用多種後端，包括 RemoteDesktop 通訊埠、ydotool、wtype 與 xdotool，以模擬點擊、鍵盤輸入與捲動操作。它還與各種視窗管理器整合，用於列出、聚焦與調整視窗，並提供結構化的 JSON "doctor" 報告，以驗證系統就緒狀態。

適用對象

需要與本地 Linux 桌面應用程式互動的 AI 代理開發者，以及使用 Claude Desktop、Claude Code、Hermes Agent 與 Codex Desktop 等 MCP 相容主機的使用者。

主要亮點

• Wayland 支援：實作多種備援機制，確保在 Wayland 合成器上指標與鍵盤輸入正常運作。
• 語意選擇：使用 AT-SPI，使代理能透過角色、名稱或文字而非僅座標來點擊或與元素互動。
• 跨桌面相容性：支援包括 GNOME、KDE Plasma、Hyprland、i3 與 COSMIC 在內的廣泛環境。
• 全面診斷：包含 doctor 命令，提供系統功能的機器可讀就緒報告。
• 安全註解：提供 MCP ToolAnnotations，幫助主機區分只讀觀察與破壞性 UI 變更。