milind-soni/tiptour-macos

해결하는 문제

TipTour는 사용자가 AI를 통해 데스크톱을 제어할 수 있도록 하는 macOS 메뉴 막대 앱입니다. Gemini와의 실시간 음성 대화나 로컬 에이전트(JEV)를 위한 클릭 기반 작업 입력을 통해 클릭, 타이핑, 스크롤과 같은 데스크톱 작업을 수행할 수 있는 방법을 제공합니다.

작동 방식

TipTour는 공유 로컬 그라운딩 및 액션 엔진을 사용하여 두 가지 고유한 모드로 작동합니다.

• Gemini Realtime Mode: 음성과 스크린샷을 사용하여 사용자가 화면에 대해 대화하고 데스크톱 작업을 요청할 수 있습니다. 클릭, 타이핑, 단축키, 앱/URL 열기, Apple Notes 생성 등 광범위한 작업을 지원합니다.
• JEV Text Mode: 사용자가 작업을 입력하는 텍스트 기반 모드입니다. JEV는 로컬에서 감지된 화면 레이블과 위치에서 컨트롤을 식별하여 클릭 기반 작업 시퀀스(작업당 최대 12개)를 실행하고 검증합니다.

대상 사용자

자신의 API 키를 사용하여 AI 기반 데스크톱 자동화 및 제어를 원하는 macOS 사용자(버전 14.2 이상).

주요 특징

• 듀얼 모드 상호작용: 음성 기반 멀티모달 상호작용(Gemini)과 텍스트 기반 클릭 자동화(JEV) 간 전환 가능.
• 로컬 감지: JEV는 화면 레이블과 위치를 로컬에서 처리하여 개인정보를 보호합니다.
• 개인정보 보호 중심: API 키는 macOS Keychain에 저장되며, 호스팅된 키 프록시가 없습니다.
• 컨텍스트 포커스: 사용자는 화면 영역을 수동으로 지정하여 Gemini에 특정 포커스 컨텍스트를 제공할 수 있습니다.