franzenzenhofer/big-arrow-on-the-screen

해결하는 문제

AI 에이전트가 화면에서 특정 사용자 작업(예: "대화 상자에서 '허용' 클릭")을 요청해야 할 때 인간과 소통하는 데 어려움을 겪는 경우가 많습니다. 사용자가 보지 않을 수도 있는 터미널에 텍스트 메시지를 출력하는 대신, big-arrow-on-the-screen을 사용하면 에이전트가 매우 눈에 띄는 화살표와 라벨을 사용하여 macOS 데스크탑의 특정 UI 요소, 창 또는 좌표를 시각적으로 가리킬 수 있습니다.

작동 방식

Swift로 작성된 macOS 명령줄 도구로, 모든 창, 디스플레이 및 공간 위에 투명한 오버레이 창을 생성합니다. 라벨, 좌표 또는 창 제목으로 정의된 대상을 가리키는 화살표, 상자 또는 고리를 그리지만, 키보드 포커스를 가로채거나 대상 요소에 대한 클릭을 차단하지 않습니다. AI 에이전트(Claude Code 및 Codex 등)가 이러한 명령을 자율적으로 사용할 수 있도록 하는 '스킬' 구성이 포함되어 있습니다.

대상 사용자

• AI 에이전트 개발자: 에이전트가 UI 상호작용을 통해 사용자를 안내할 방법을 제공하려는 경우.
• 최종 사용자: 에이전트의 안내를 받아 복잡한 설정이나 권한 작업을 수행하는 경우.
• 개발자/테스터: 시각적 데모, 문서 작성 또는 UI 좌표 디버깅을 수행하는 경우.

주요 특징

• 비침해적: 클릭은 대상을 통과하며, 키보드 포커스는 현재 앱에 유지됩니다.
• 유연한 타겟팅: UI 요소 라벨, 전역 좌표, 창 제목 또는 특정 브라우저 탭으로 대상을 지정할 수 있습니다.
• 풍부한 시각 효과: 다양한 모양(직선, 지그재그, 나선형), 스타일(화살표, 고리, 상자), 크기 및 사용자 지정 색상을 지원합니다.
• 대화형 요소: 표식 내에 클립보드 복사 버튼과 선택적 닫기 버튼이 포함되어 있습니다.
• 에이전트 준비 완료: LLM 에이전트를 위한 전용 스킬을 제공하며, 프로그래밍 방식의 피드백을 위해 표준 종료 코드를 사용합니다.
• 권한 없는 그리기: 오버레이를 그리는 데는 macOS 권한이 필요하지 않지만, 특정 요소를 찾는 데는 접근성 권한이 필요할 수 있습니다.