agent-sh/computer-use-linux

何を解決するか

computer-use-linux は、AIエージェント（Model Context Protocol - MCP経由）が実際のLinuxデスクトップを制御する方法を提供します。既存のほとんどのコンピュータ操作ツールはmacOS専用か、単純なスクリーンスクラッピングに依存していますが、このプロジェクトはGNOME、KDE、Hyprland、i3、COSMICなど、さまざまなデスクトップ環境で高い信頼性を実現し、WaylandとX11の両方をサポートします。

動作方法

Rustで書かれたMCPサーバーおよびCLIツールとして動作します。Linuxアクセシビリティツリー（AT-SPI）に接続して、ピクセル座標に頼るのではなく、UI要素を意味的に識別します。入力には、RemoteDesktopポータル、ydotool、wtype、xdotoolなどのバックエンドを活用してクリック、キーストローク、スクロールをシミュレートします。また、さまざまなウィンドウマネージャーと連携してウィンドウの一覧表示、フォーカス、リサイズを可能にし、システムの準備状態を確認する構造化されたJSON形式の「doctor」レポートを提供します。

対象ユーザー

ローカルのLinuxデスクトップアプリケーションとやり取りする必要があるAIエージェントを開発する開発者、およびClaude Desktop、Claude Code、Hermes Agent、Codex DesktopなどのMCP互換ホストのユーザー。

特徴

• Wayland対応：Waylandコンポジター上でマウスとキーボード入力が動作するよう、複数のフォールバックメカニズムを実装しています。
• 意味的選択：AT-SPIを使用して、座標ではなく、役割、名前、テキストに基づいて要素をクリックまたは操作できるようにします。
• クロスデスクトップ互換性：GNOME、KDE Plasma、Hyprland、i3、COSMICなど、幅広い環境をサポートしています。
• 包括的な診断機能：doctorコマンドにより、システムの機能性を機械可読形式で確認できる準備状態レポートを提供します。
• 安全なアノテーション：MCP ToolAnnotations を提供し、ホストが読み取り専用の観察と破壊的なUI変更を区別できるようにします。