MAA-AI/MaaMCP

해결하는 문제

MaaMCP는 AI 어시스턴트(Claude 등)에게 Android 기기 및 Windows 데스크톱 애플리케이션을 자동화할 수 있는 기능을 제공합니다. Model Context Protocol (MCP)을 통해 자동화 기능을 노출함으로써 LLM의 추론과 실제 기기 상호작용 사이의 간극을 메워줍니다.

작동 원리

MaaFramework 기반의 MCP 서버로서 작동하며, AI가 표준화된 도구 세트를 통해 기기와 상호작용할 수 있도록 합니다. 시스템은 두 가지 주요 작동 모드를 지원합니다.

• 시리얼 모드 (Serial Mode): AI가 동작을 수행하고, OCR이나 스크린샷을 통해 결과를 관찰한 뒤 다음 단계를 결정하는 동기식 흐름입니다.
• 파이프라인 모드 (Pipeline Mode): 서버가 백그라운드에서 지속적으로 스크린샷을 캡처하는 비동기식 멀티스레드 방식입니다. AI는 새로운 캡처 요청을 기다릴 필요 없이 실시간으로 화면을 모니터링하고 변화에 대응할 수 있습니다.

시각적 인식을 위해 OCR을 통한 텍스트 인식과 스크린샷을 통한 시각적 분석을 사용합니다. 상호작용 측면에서는 클릭, 스와이프, 텍스트 입력 및 키보드 단축키를 지원합니다.

대상 사용자

앱에서 음식을 주문하거나 소프트웨어 설정을 탐색하는 등 복잡한 작업을 수행하기 위해 AI 에이전트에게 PC나 모바일 기기를 제어할 수 있는 권한을 부여하려는 사용자.

주요 특징

• 크로스 플랫폼 자동화: Android(ADB 경유) 및 Windows 데스크톱 앱을 모두 지원합니다.
• 백그라운드 작동: Windows 자동화는 백그라운드에서 실행되므로 마우스와 키보드를 가로채지 않아 사용자가 PC를 계속 사용할 수 있습니다.
• AI 기반 파이프라인 생성: AI가 작업을 한 번 실행한 후, 성공적인 동작 시퀀스를 향후 자동화 실행을 위해 재사용 가능한 JSON Pipeline으로 변환할 수 있습니다.
• 다중 기기 조정: 여러 기기나 창을 동시에 연결하고 제어할 수 있는 기능.
• 지능형 인식: 효율적인 텍스트 기반 탐색을 위한 통합 OCR 및 스크린샷을 통한 시각적 분석.