agent-sh/computer-use-linux

해결하는 문제

computer-use-linux는 AI 에이전트(모델 컨텍스트 프로토콜 - MCP를 통해) 실제 리눅스 데스크톱을 제어할 수 있는 방법을 제공합니다. 기존의 대부분의 컴퓨터 사용 도구는 맥OS 전용이거나 단순한 화면 스크래핑에 의존하지만, 이 프로젝트는 GNOME, KDE, Hyprland, i3, COSMIC 등 다양한 데스크톱 환경에서 높은 신뢰성으로 작동하며, Wayland과 X11을 모두 지원합니다.

작동 방식

Rust로 작성된 MCP 서버 및 CLI 도구로 작동합니다. UI 요소를 픽셀 좌표에만 의존하는 것이 아니라, Linux 접근성 트리(AT-SPI)를 통해 의미적으로 식별합니다. 입력은 RemoteDesktop 포털, ydotool, wtype, xdotool 등의 다양한 백엔드를 사용하여 클릭, 키 입력, 스크롤을 시뮬레이션합니다. 또한 다양한 윈도우 매니저와 통합되어 창 목록, 포커스, 크기 조정을 가능하게 하며, 시스템 준비 상태를 확인할 수 있는 구조화된 JSON 형식의 "doctor" 보고서를 제공합니다.

대상 사용자

로컬 리눅스 데스크톱 애플리케이션과 상호작용이 필요한 AI 에이전트를 개발하는 개발자, 그리고 Claude Desktop, Claude Code, Hermes Agent, Codex Desktop과 같은 MCP 호환 호스트 사용자.

주요 특징

• Wayland 지원: Wayland 컴포지터에서 마우스 및 키보드 입력이 작동하도록 여러 대체 메커니즘을 구현했습니다.
• 의미 기반 선택: AT-SPI를 사용하여 좌표가 아닌 역할, 이름, 텍스트 기반으로 요소를 클릭하거나 상호작용할 수 있습니다.
• 크로스 데스크톱 호환성: GNOME, KDE Plasma, Hyprland, i3, COSMIC 등 다양한 환경을 지원합니다.
• 포괄적인 진단 기능: 시스템 기능을 기계가 읽을 수 있는 형식으로 확인할 수 있는 doctor 명령어를 제공합니다.
• 안전성 어노테이션: MCP ToolAnnotations를 제공하여 호스트가 읽기 전용 관찰과 파괴적인 UI 변경을 구분할 수 있도록 합니다.