injaneity/pi-computer-use

해결하는 문제

pi-computer-use는 macOS, Windows, Linux에서 데스크톱 애플리케이션과 상호작용할 수 있게 해줍니다. 애플리케이션이 신뢰할 수 있는 API나 터미널 명령어를 제공하지 않을 때, AI 에이전트가 직접 그래픽 사용자 인터페이스(GUI)와 상호작용해야 하는 상황에 특화되어 있습니다.

작동 방식

이 프로젝트는 에이전트가 열린 창을 찾고, 가시적인 인터페이스를 관찰하며, 특정 버튼이나 텍스트를 검색하고, 클릭, 입력, 스크롤과 같은 물리적 동작을 수행할 수 있도록 도와주는 Pi 확장 기능을 제공합니다. macOS에서는 접근성 및 화면 녹화 권한이 필요한 보조 앱을 사용합니다. Windows에서는 플랫폼 접근성 API를 활용합니다. Linux에서는 AT-SPI2 접근성 버스와 X11/Wayland 프로토콜을 사용합니다.

대상 사용자

다양한 운영체제에서 표준 데스크톱 소프트웨어 내에서 작업을 자동화해야 하는 AI 에이전트를 개발하는 개발자들입니다.

주요 특징

• 크로스플랫폼 지원: macOS(14 이상), Windows, Linux에서 작동합니다.
• UI 관찰: 가시적인 인터페이스에서 컨트롤 및 텍스트를 검사하고 검색할 수 있는 도구.
• 액션 실행: 클릭, 입력, 스크롤, UI 변경 대기 기능을 제공합니다.
• 상태 관리: 불변이며 상태 기반의 관찰과 캐시된 프로그레시브 아웃라인 쿼리를 사용하여 데스크톱 표면을 관리합니다.
• 병렬 처리: 독립적인 루트를 병렬로 실행할 수 있습니다.