yliust/Tactile

해결하는 문제

Tactile는 스크린샷과 픽셀 좌표에만 의존하는 '컴퓨터 사용' 에이전트의 취약성과 비효율성을 해결합니다. 순수한 시각 정보보다 접근성 의미론을 우선시함으로써, 지속적인 스크린샷 추론과 좌표 재시도의 필요성을 줄여, 에이전트가 소프트웨어와 상호작용하는 과정을 더 신뢰성 있고 정확하게 만듭니다.

작동 방식

Tactile는 UI와 상호작용하기 위해 사용하는 계층적 운영 전략(‘운영 래더’)을 구현합니다:

1. 접근성 의미론: 에이전트는 먼저 접근성 트리를 읽어 요소의 역할, 이름, 상태, 계층 구조를 식별하고 작업을 수행합니다.
2. OCR 기반 좌표: 의미론 정보가 부족할 경우, 시스템 OCR을 사용해 보이는 텍스트와 정확한 좌표를 찾아 텍스트 기반의 백업으로 활용합니다.
3. 네이티브 시각 사용: 마지막 수단으로, 에이전트는 자체 시각 추론과 스크린샷 기반 좌표 예측에 의존합니다.

이 과정은 검증에도 적용되며, 에이전트는 작업 성공 여부를 먼저 접근성 상태를 확인하고, 그 다음 OCR 텍스트 변경 사항을 확인한 후, 마지막으로 시각적 스크린샷을 확인합니다.

대상 사용자

데스크톱 소프트웨어를 운영할 수 있는 AI 에이전트를 개발하는 개발자들, 그리고 인간과 AI 모두를 위한 소프트웨어 접근성을 향상시키고자 하는 사람들.

주요 특징

• 접근성 우선 접근법: 기존 OS 접근성 API를 활용해 에이전트에게 소프트웨어 구조에 대한 '촉각'을 제공합니다.
• 다층적 백업: 의미론 데이터에서 OCR, 마지막으로 원시 시각에 이르는 구조화된 경로를 제공합니다.
• MCP 지원: macOS Model Context Protocol (MCP) 서버를 전용으로 제공하여 더 빠르고 쉬운 통합을 가능하게 합니다.
• 접근성 촉진: 소프트웨어 개발자들이 접근성 메타데이터를 개선하도록 유도하여, AI 에이전트와 장애를 가진 인간 사용자 모두에게 이로움을 줍니다.