injaneity/pi-computer-use
Let Pi control your apps on MacOS & Windows
해결하는 문제
pi-computer-use는 macOS, Windows, Linux에서 데스크톱 애플리케이션과 상호작용할 수 있게 해줍니다. 애플리케이션이 신뢰할 수 있는 API나 터미널 명령어를 제공하지 않을 때, AI 에이전트가 직접 그래픽 사용자 인터페이스(GUI)와 상호작용해야 하는 상황에 특화되어 있습니다.
작동 방식
이 프로젝트는 에이전트가 열린 창을 찾고, 가시적인 인터페이스를 관찰하며, 특정 버튼이나 텍스트를 검색하고, 클릭, 입력, 스크롤과 같은 물리적 동작을 수행할 수 있도록 도와주는 Pi 확장 기능을 제공합니다. macOS에서는 접근성 및 화면 녹화 권한이 필요한 보조 앱을 사용합니다. Windows에서는 플랫폼 접근성 API를 활용합니다. Linux에서는 AT-SPI2 접근성 버스와 X11/Wayland 프로토콜을 사용합니다.
대상 사용자
다양한 운영체제에서 표준 데스크톱 소프트웨어 내에서 작업을 자동화해야 하는 AI 에이전트를 개발하는 개발자들입니다.
주요 특징
- 크로스플랫폼 지원: macOS(14 이상), Windows, Linux에서 작동합니다.
- UI 관찰: 가시적인 인터페이스에서 컨트롤 및 텍스트를 검사하고 검색할 수 있는 도구.
- 액션 실행: 클릭, 입력, 스크롤, UI 변경 대기 기능을 제공합니다.
- 상태 관리: 불변이며 상태 기반의 관찰과 캐시된 프로그레시브 아웃라인 쿼리를 사용하여 데스크톱 표면을 관리합니다.
- 병렬 처리: 독립적인 루트를 병렬로 실행할 수 있습니다.
관련
- 프로젝트
lycorp-jp/sim-useAI 에이전트가 토큰 효율적인 UI 아웃라인과 간소화된 상호작용 명령을 통해 iOS 및 Android 화면을 관찰하고 조작할 수 있게 해주는 크로스 플랫폼 CLI.
- 프로젝트
justhil/pi-apppi Desktop은 기존의 *pi* 코딩 에이전트용 크로스플랫폼 Electron 앱으로, CLI와 동일한 `~/.pi/agent` 파일을 공유하며, 타임라인, Git 스타일의 차이점, 파일 탐색, 병렬 워커, 확장 어댑터, 테마, 선택적 음성 입력 기능을 제공합니다.
- 프로젝트
remorses/usecomputerusecomputer는 macOS, Linux, Windows에서 스크린샷, 좌표 매핑, 마우스/키보드 조작(클릭, 드래그, 입력, 스크롤)을 수행할 수 있는 크로스플랫폼 CLI(및 TypeScript 라이브러리)입니다. 네이티브 Zig 백엔드를 사용하며, 정확한 화면-이미지 매핑을 위한 coord-map 시스템, SSE를 통한 전역 입력 이벤트 스트리밍, 에이전트 친화적인 이미지 전달을 위한 Kitty Graphics Protocol를 지원합니다.
- 프로젝트
iFurySt/open-codex-computer-useopen-computer-use는 AI 에이전트가 데스크톱(macOS, Linux, Windows)을 제어할 수 있게 해주는 오픈 소스 MCP 서버입니다. JSON 기반 도구(앱 목록, 키 입력, 커서 이동 등)를 제공하며, 한 줄 설치 명령어로 Codex, Claude Code, Gemini CLI 등의 에이전트와 통합할 수 있습니다.
- 프로젝트
openclaw/PeekabooPeekaboo는 macOS 전용 CLI 및 메뉴 막대 앱으로, 화면을 캡처하고 접근성 API를 통해 구조화된 UI 맵을 구축하며 클릭, 입력, 키 누르기, 스크롤 등을 자동화할 수 있습니다. 또한 자연어 지침을 실행할 수 있는 LLM 기반 '에이전트'가 포함되어 있으며, Codex 또는 Claude Code와 같은 외부 Model‑Client‑Protocol (MCP) 클라이언트에 노출할 수 있습니다.