shhivv/third-hand

해결하는 문제

Third Hand는 채팅 인터페이스를 통해 다양한 앱을 제어할 수 있는 macOS 어시스턴트입니다. 메뉴와 버튼을 수동으로 탐색할 필요 없이 자연어 명령을 Spotify에서 음악 재생이나 앱 내 특정 콘텐츠 검색과 같은 직접적인 앱 동작으로 변환합니다.

작동 방식

이 시스템은 macOS 환경과 상호작용하기 위해 여러 도구를 조합하여 사용합니다.

• arc-cua: macOS 접근성 API를 통해 백그라운드에서 앱을 읽고 제어하는 드라이버로, 숨겨지거나 최소화된 창과도 상호작용할 수 있습니다.
• Apple Vision: 앱 제어가 접근 불가능한 경우를 처리하기 위해 화면의 텍스트를 로컬에서 인식합니다.
• ChatGPT: 플래너 역할을 하며 요청과 앱의 현재 상태를 기반으로 클릭, 입력, 스크롤 같은 간단한 단계 시퀀스를 생성합니다.
• Jev: 제어 레이블이 플래너가 제안한 것과 정확히 일치하지 않을 때 모호성을 해결하기 위해 사용되는 특수 도구입니다.
• 실행: 앱은 이 단계들을 하나씩 실행하고 각 동작의 결과를 확인한 후 진행합니다.

대상 사용자

Apple Silicon Mac(macOS 14 이상) 사용자로, 자연어를 사용하여 다양한 macOS 앱에서 작업을 자동화하는 AI 기반 어시스턴트를 원하는 분.

주요 특징

• 백그라운드 실행: 작업을 백그라운드에서 실행(Shift+Enter)할 수 있어 포인터와 전면 앱을 방해하지 않습니다.
• @멘션: 채팅 스레드에서 특정 앱을 태그하여 명령을 보낼 수 있으며, 앱이 열려 있지 않으면 자동으로 실행합니다.
• 스레드 대화: 스레드 내에서 기록을 유지하여 "이제 두 번째 재생"과 같은 후속 명령이 가능합니다.
• Control-Space 단축키: 현재 활성화된 앱이 태그된 새 스레드를 빠르게 엽니다.
• 로컬 처리: 화면 텍스트 인식은 Apple Vision을 통해 로컬에서 처리되어 스크린샷이 업로드되지 않음을 보장합니다.