physiclaw/PhysiClaw

해결하는 문제

PhysiClaw는 앱의 API, OAuth, 소프트웨어 기반 자동화 도구 없이도 일상적인 스마트폰 업무—예를 들어 음식 주문, 식료품 쇼핑, 요금 지불—을 처리할 수 있도록 설계되었습니다. 소프트웨어 시뮬레이션 대신 물리적으로 스마트폰과 상호작용함으로써 봇 탐지 시스템을 우회합니다.

작동 방식

이 시스템은 카메라로 스마트폰 화면을 감시하고, 로봇 스타일러스로 탭과 제스처를 수행합니다. WhatsApp을 통해 자연어로 요청을 보낼 수 있는 AI 에이전트로 동작합니다. 요청을 보내면 에이전트가 활성화되어 스마트폰을 잠금 해제하고 작업을 수행한 후 결과를 알립니다.

대상 사용자

공개 API가 없거나 엄격한 봇 방지 조치가 있는 모바일 앱에서 작업을 자동화하고 싶은 사용자, 그리고 필요한 하드웨어(로봇 암, 스타일러스, 카메라)와 iPhone을 보유한 사용자입니다.

주요 특징

• 물리적 상호작용: 카메라와 스타일러스를 사용해 인간의 손가락 터치를 모방하여 스마트폰에 대해 실제 사용자와 구분되지 않도록 합니다.
• API 없이 자동화: ADB 케이블이나 소프트웨어 설치 없이 스마트폰의 모든 앱과 작동 가능합니다.
• 자연어 인터페이스: WhatsApp 메시지를 통해 제어할 수 있습니다.
• 오픈소스: 에이전트 소프트웨어와 CAD-as-code 형식의 하드웨어 설계 모두 MIT 라이선스 하에 제공됩니다.