mediar-ai/mcp-server-macos-use

해결하는 문제

이 프로젝트는 AI 모델이 macOS 애플리케이션과 직접 상호 작용할 수 있는 방법을 제공합니다. AI가 UI 구조를 파악하고 클릭, 타이핑, 앱 실행과 같은 작업을 수행할 수 있도록 하여 대규모 언어 모델(LLM)과 운영 체제 사용자 인터페이스 사이의 간극을 메워줍니다.

작동 원리

Swift로 작성된 Model Context Protocol (MCP) 서버로 구현되었습니다. MacosUseSDK와 macOS 접근성 API를 사용하여 애플리케이션의 접근성 트리를 탐색(AI에게 화면의 요소를 전달)하고 사용자 입력을 시뮬레이션합니다. Claude Desktop과 같은 MCP 호환 클라이언트와는 표준 입출력(stdio)을 통해 통신합니다.

대상 사용자

AI 에이전트에게 Mac 제어 능력을 부여하여 다양한 데스크톱 애플리케이션 전반에서 작업을 자동화하고자 하는 개발자 및 AI 애호가.

주요 특징

• UI 탐색: 애플리케이션의 접근성 트리를 스캔하여 인터페이스의 현재 상태를 파악할 수 있습니다.
• 애플리케이션 제어: 애플리케이션 실행, 특정 좌표 클릭, 텍스트 입력, 수정 키를 포함한 키보드 입력 등을 지원합니다.
• 상태 새로 고침: 별도의 작업 없이 UI 탐색을 새로 고쳐 AI의 컨텍스트를 업데이트하는 도구가 포함되어 있습니다.
• 사용자 지정 가능한 작업: 애니메이션, 지연 시간, 표시된 요소만 볼지 여부 등을 제어할 수 있는 선택적 매개변수를 제공합니다.